算力之争的真正战场,不在芯片,而在迁移成本

Kevin Di

Hatched by Kevin Di

Jul 05, 2026

1 min read

84%

0

先别问谁的芯片更强,先问谁能让你换得起

很多人以为,AI 算力竞争的核心是“谁的 GPU 更快”。但真正决定胜负的,往往不是峰值性能,而是系统级迁移成本。一颗芯片的速度优势,如果只能在实验室里成立,或者只能在一次性采购里体现,它未必能变成长期壁垒;相反,谁能让企业在不惊动业务的前提下持续迁移、持续扩容、持续替换,谁就更接近“平台级控制力”。

这也是为什么,算力之争表面上看是芯片之争,底层却常常是网络、软件、运维、生态和组织惯性的合谋。芯片像发动机,但真正让车队跑起来的是整条路网。高速公路修得再好,如果收费站太多、换乘太麻烦、维护成本太高,最终也不会成为多数人的首选。

算力市场的护城河,不只在于性能领先几微秒,而在于让客户每一次迁移都不再像“推倒重来”。


为什么网络决定了芯片的命运

在多机多卡训练和大规模推理里,计算并不是唯一瓶颈。模型越大,参数同步、梯度通信、跨节点协同就越频繁,端到端通信时延会直接吞噬算力收益。于是,真正关键的问题变成了:你能不能把“算”变成“连着算”。

这就是 RDMA 的意义。它绕过操作系统内核,让一台主机可以直接访问另一台主机的内存。对于大规模集群来说,这种变化非常像把城市道路从红绿灯密布的地面路,切换到直连的高架网。原来一次数据往返可能要经过层层协议栈,就像一批货物先经过多级仓库再送到终点;现在则像点对点直送,路径更短,抖动更小。

在实验室测试里,应用层端到端时延可以从传统 TCP/IP 的 50 微秒,降低到 RoCE 的 5 微秒,或者 InfiniBand 的 2 微秒。这个数字看起来像工程细节,但在训练万卡集群、做低延迟推理、或者执行高频同步时,它会放大成架构命运。因为模型规模越大,通信越不是附属项,而是系统本身

但更深的一层是,网络并不只是“快或慢”的问题,它还定义了谁更容易规模化。如果一个网络需要复杂的参数调优、严格的拥塞控制、精细的流控配置,那么它就会把能力集中在少数顶尖团队手里。相反,一个更封装、更统一、更能被标准化运维的方案,虽然性能上未必压倒一切,却更容易变成产业默认选项。

这就引出两种截然不同的秩序。


两种秩序:极致性能的封闭系统,还是通用兼容的开放系统

InfiniBand 和 RoCE 的分野,本质上不是“谁更先进”,而是谁更适合把性能变成规模

InfiniBand 的优势在于极致。它不运行传统路由协议,整个网络转发表由集中式 Subnet Manager 统一计算和下发,配合 Adaptive Routing 做逐包动态路由,在超大规模场景下追求最优利用率。它像一套为高性能计算专门设计的精密轨道系统,部件之间配合紧密,目标明确,效率极高。对于万卡级 GPU 集群,这种设计几乎是为“把每一分带宽都榨干”而生。

但极致往往意味着封闭。InfiniBand 需要专用线缆、专用光模块、专用交换机和专用网卡。它不是“随处可插”的以太网增强版,而是另起一套体系。结果就是,性能很强,但生态更窄,迁移门槛更高,供应链更集中。市场上 NVIDIA 占据七成以上份额,本质上说明了一个事实:当性能、协议和硬件栈被少数厂商打包掌控时,客户买的不只是设备,而是整套依赖关系

RoCE 则是另一种逻辑。它更通用,能运行在传统以太网中,价格通常更低,供应商更多,和现有网络体系的衔接也更自然。它像把高铁技术嵌入现有城市网络,既保留高速能力,又尽量不重建整座城市。问题在于,RoCE 的性能并不只由芯片决定,还严重依赖交换机上的 headroom、PFC、ECN 等参数配置。换句话说,它把一部分硬件能力转化成了运维能力。

这是一种很有意思的产业结构:

  1. InfiniBand 把复杂性封装在系统内部,换来极致性能和统一体验;
  2. RoCE 把复杂性分散到现有以太生态里,换来通用性和成本优势。

从短期看,前者更适合极端性能密集型场景,后者更适合大规模铺开。可从长期看,真正决定谁赢的不是“谁更快”,而是谁的复杂性更容易被组织吸收

技术路线的本质,不是性能排序,而是复杂性的分配方式。


英伟达到底在卖什么:不是 GPU,而是“最少迁移摩擦”

很多人把英伟达理解为芯片公司,这个看法太窄了。更准确地说,它卖的是一种能力:让客户在不断升级、扩容、切换场景时,仍然尽量不改底层习惯。GPU 只是入口,真正的价值在于 CUDA 生态、网络栈、适配器、交换机、工具链,以及整个软硬件协同的惯性。

这时,算力采购就不再是买单个硬件,而是买一个“可重复迁移”的平台。企业最怕的不是第一次迁移,而是每次迁移都像第一次。第一次迁移可以靠项目资源、专家团队和阵痛预算扛过去;第二次、第三次如果还是同样的代价,组织就会开始抗拒,甚至放弃技术升级。

这正解释了一个看似局部、实则关键的现象:在安防领域,尤其是视频流分析这类已经成熟、采购量明确的场景里,GPU 推理业务并不是不可替代的。原因并不神秘,因为这些任务的特征更稳定,模型和工作负载更可预测,客户更在意单位成本和部署便利,而不是绝对性能天花板。一旦某类任务可被标准化,替代就会发生,哪怕只是蚕食 20 到 30 percent 的份额,也足以说明一个趋势:垄断的脆弱点,不在最前沿研究,而在成熟业务的重复迁移里

这就是所谓“经验积累”的真正含义。不是一次把客户彻底搬走,而是在每一轮升级中都让替换更容易一点,成本更低一点,风险更小一点。久而久之,客户会发现自己并没有在某个节点做出戏剧性的切换,而是在无数个小决定里悄悄改道。

这比一次性颠覆更可怕,因为它更像地层沉降,而不是地震。


一个更有用的框架:三层迁移成本

如果要理解算力竞争,最有用的不是“芯片性能对比表”,而是一个三层迁移成本框架

1. 硬件迁移成本

这是最直观的一层,包括卡、交换机、线缆、光模块、供电、散热和机柜改造。InfiniBand 和 RoCE 的差异首先体现在这里。前者往往意味着更强的一体化采购,后者则更容易沿用既有以太网络资产。

2. 网络迁移成本

这是很多人低估的一层。RDMA 不是把“网线换快一点”那么简单,而是把拥塞控制、流控策略、拓扑设计和运维方式都重写一遍。对于 RoCE,headroom、PFC、ECN 等配置如果不稳定,性能就会抖动,问题往往不是平均速度,而是尾延迟。对于大规模训练,尾延迟会像队伍里最慢的那个人,决定整队出发时间。

3. 组织迁移成本

这是最隐蔽,也最重要的一层。团队是否有能力重构调度策略,是否愿意重新验证稳定性,是否能把新系统接入既有采购和运维流程,最终都会决定技术能否落地。很多“技术上更优”的方案输掉,不是输在算法,而是输在组织不愿意为它重学一遍。

真正的垄断,不是让别人买不到你的产品,而是让别人换掉你的产品时必须重建整套能力。

从这个角度看,InfiniBand 的优势在于把这三层成本都变成统一体系内的问题,客户一旦接入,就会发现升级有路径,规模化有方法,性能有保障。RoCE 的优势在于它能把部分成本外包给既有以太网络,从而降低进入门槛。但它也因此更依赖客户自身能力,尤其在超大规模场景里,这种能力差异会迅速放大。

这说明一个深层事实:AI 基础设施不是单点最优,而是跨层一致性最优。芯片强、网络差,系统仍然跑不满;网络快、运维弱,规模一样上不去;运维成熟、生态割裂,客户还是会被锁在局部最优里。


Key Takeaways

  1. 不要只看芯片峰值性能,要看迁移成本。 真正的竞争力在于客户换不换得起,而不是参数表上快多少。

  2. 把网络当成算力的一部分,而不是配套设施。 在多机多卡和万卡集群里,通信时延会直接决定系统效率。

  3. 理解两类架构的分工。 InfiniBand 更像极致性能的封闭系统,RoCE 更像通用兼容的开放系统,前者强在统一,后者强在普及。

  4. 关注成熟场景里的替代,而不是只盯前沿训练。 真正会被蚕食的,往往是视频分析、推理等可标准化的业务。

  5. 把迁移拆成硬件、网络、组织三层来设计。 只解决其中一层,不足以形成长期壁垒。


结语:算力战争的终局,不是更快,而是更容易被采用

如果把 AI 基础设施看作一场军备竞赛,人们很容易被更大的带宽、更低的时延、更贵的芯片吸引。但历史一再证明,真正决定标准的,往往不是最强的技术,而是最能被持续采用的技术

芯片会迭代,网络会升级,模型会换代。唯一不会消失的,是组织对迁移风险的本能恐惧。谁能把这种恐惧变成可控的、渐进的、可重复的变化,谁就不会只是卖硬件,而是在定义市场的默认路径。

所以,算力竞争的真正问题,不是“谁的 GPU 最强”,而是:谁能把每一次升级,都变成一次低摩擦的习惯延续。当你开始这样思考时,英伟达的护城河、InfiniBand 的意义、RoCE 的现实价值,以及某些推理市场为何会被逐步蚕食,才会突然连成一条线。

Sources

← Back to Library

Hatch New Ideas with Glasp AI 🐣

Glasp AI allows you to hatch new ideas based on your curated content. Let's curate and create with Glasp AI :)

Start Hatching 🐣