算力时代的真正瓶颈，不是芯片，而是数据如何跨机移动

Jul 21, 2026

1 min read

3 views

89%

你买到的不是算力，而是搬运能力

如果一台服务器里，GPU 之间可以通过 NVLink3.0 跑到 600GB/s，而跨机器的网络只有 400Gb/s 或 200Gb/s，那么一个有趣但残酷的问题就出现了：为什么我们总在讨论算力扩容，却很少认真讨论数据搬运？

在今天的 AIGC 系统里，很多人把瓶颈想象成“GPU 不够多”，但更真实的瓶颈往往是另一个层面：算力之间能否足够快地彼此说话。单机内部像一间开阔的工作室，GPU 之间近在咫尺，几乎可以随手递工具。多机之后，系统就变成了一座城市，数据必须过桥、上高速、进收费站，还要面对拥堵、限行和调度。真正限制系统规模的，常常不是“能不能算”，而是“能不能把算出来的东西及时送到下一个地方”。

这就是 RDMA 为什么重要。它不是一个网络细节，而是一种系统观念的转折：把机器之间的通信，从“像访问远程网络”变成“像访问另一台机器的内存”。这个变化看似只是几十微秒到几微秒的差别，实际上却决定了多机多卡训练、推理和调度能否真正扩展。

算力时代最贵的资源，不只是 FLOPS，而是低延迟、低干扰、可预测的数据流动能力。

单机像肌肉，多机像交通系统

理解这件事，最有效的办法不是先谈协议，而是先看隐喻。单机内部的 NVLink，像一块肌肉内部的神经网络，信号短、路径固定、响应快。多机网络则更像城市交通，哪怕道路修得再宽，也要面对路口、分流、车流突增和事故恢复。

这也是为什么 600GB/s 的单机内部带宽 和 200Gb/s 到 400Gb/s 的跨机网络 之间，不只是数字差距，而是两种完全不同的系统逻辑。单机内通信追求的是极致紧耦合，多机通信追求的是可扩展、可管理、可容错。问题在于，AIGC 训练越来越不像单机游戏，而越来越像一场多城市协作的大型工程。

例如大模型训练中的梯度同步，表面看只是“把多个 GPU 的结果汇总一下”，但实际中它会以极高频率发生，且对尾延迟极其敏感。假设你有 8 张卡，如果其中某一张卡的通信慢了，整个 step 都会被拖住。于是系统表现不再取决于平均速度，而取决于最慢那条链路的稳定性。换句话说，训练集群不是看谁最快，而是看谁不掉队。

这也解释了为什么传统 TCP/IP 网络往往不够用。TCP/IP 的设计目标是通用、可靠、可兼容，但不是为了把多机多卡的通信压到极低延迟。对于大模型训练来说，50 微秒和 5 微秒，甚至 2 微秒，听起来只是数字上的差异，实际上却会在海量通信轮次中被指数级放大。一次消息慢一点无所谓，一百万次消息慢一点，就是系统级灾难。

RDMA 的真正价值，不是快，而是少一层“解释”

很多人第一次接触 RDMA，会把它理解成“更快的网络”。这个理解不算错，但还不够准确。RDMA 的核心价值，不只是速度，而是绕过操作系统内核协议栈，减少软件层层转译带来的摩擦。你可以把它理解成一种“直通式通信”：不必每次都经过一整套繁复的中介流程，主机可以直接访问另一台主机的内存。

这意味着什么？意味着网络不再只是“把包送到对面”，而是“尽量像本地内存一样使用远端资源”。这种思想非常适合 AIGC 场景，因为训练框架本质上就是高频小消息与大块参数传输的混合体。它需要的不只是带宽，更是 稳定、可预测、低抖动 的端到端行为。

但 RDMA 也带来一个常被低估的事实：越接近硬件，越需要系统级的纪律。不是所有高性能方案都天然易用。真正的矛盾在于，高性能通信往往把复杂性从“运行时”转移到了“部署时”和“运维时”。

这正是 InfiniBand 和 RoCEv2 的分野所在。

InfiniBand 更像一条专门为高速运输修建的专用铁路。它有专用的网卡、交换机、线缆，甚至连网络转发表都由集中式的 Subnet Manager 统一计算和下发。整个网络像一个高度编排的系统，连 QoS、Partition 这些规则都能统一管理。它的优势是性能上限高、路径更可控、逐包动态路由能力强，特别适合超大规模 GPU 集群。

RoCEv2 更像是在既有公路体系上改造出一条快车道。它的通用性更强，价格更低，也更容易融入现有以太网络。但代价是，想把它跑好，往往要在 Headroom、PFC、ECN 这些参数上做非常细致的调校。换句话说，RoCEv2 不是不能快，而是它要求你成为一个非常懂交通控制的城市规划者。

高性能网络的分水岭，不在“能不能跑”，而在“把复杂性放在哪里”。

真正的选择题，不是协议之争，而是组织方式之争

如果只看技术参数，InfiniBand 常常显得更强，尤其在超大规模场景里，集中管理、逐包动态路由和成熟的万卡案例，让它像是为极限训练量身打造的方案。RoCEv2 则更灵活、更经济，也更容易借助现有以太生态落地。

但更深一层看，二者代表的是两种不同的组织哲学。

InfiniBand 的思路是：把网络当作一个统一设计、集中控制的系统。它追求的是“整体最优”，强调端到端的一致性。适合那些把通信当成核心生产资料的大型训练平台，尤其当你需要稳定压榨集群效率时，这种体系的价值极高。

RoCEv2 的思路是：在通用基础设施上叠加高性能能力。它追求的是“渐进增强”，强调兼容性和成本效益。它适合那些既想要 RDMA 的收益，又希望保留以太网络广泛生态与部署灵活性的团队。

这就带来一个常见误区：很多团队问“哪个更好”，其实真正的问题应该是“我们的系统复杂性应该沉淀在哪一层”。如果你的团队有能力掌控专用网络的部署、运维和调优，那么 InfiniBand 的整体性能通常更具吸引力。如果你的组织更看重成本、通用性和迁移便利，那么 RoCEv2 可能更现实。

这里没有单一正确答案，只有系统边界的不同。选择网络方案，本质上是在选择一种工程边界，也是在选择一种组织能力的表达方式。

一个更重要的视角：AIGC 集群的设计，其实是在设计“等待”

很多架构讨论喜欢谈峰值吞吐，却忽略等待。可对于多机多卡系统来说，等待不是边角料，而是主体。GPU 计算再强，如果频繁等待通信完成，它就只是昂贵的闲置资源。

于是，网络设计的核心目标就变了，不是单纯追求“更大带宽”，而是追求 更少的无效等待、更小的抖动、更可预测的同步节奏。这也是为什么 RDMA、InfiniBand、RoCEv2 这些看起来偏底层的技术，会直接决定上层训练效率。因为它们决定了每个 step 是否能顺利闭环。

可以把训练集群想象成一支乐队。GPU 是乐手，计算是演奏，网络则是节拍器。带宽像音量，延迟像拍点准确度，抖动则是有人忽快忽慢。你可以容忍音量小一点，但很难容忍节拍乱掉。大模型训练最怕的不是“慢”，而是“慢得不一致”。

这也解释了为什么在大规模场景下，尾延迟 常常比平均延迟更关键。平均值会掩盖局部拥堵，而训练系统往往恰恰被少数最慢路径拖垮。网络工程的目标因此不再只是“把路修宽”，而是“把最差情况也纳入控制”。InfiniBand 的集中调度与自适应路由，RoCEv2 的精细参数调优，本质上都是在处理同一问题：如何让群体协作不被局部卡顿击穿。