为什么 AI 芯片的真正瓶颈，不在算力，而在把信息“送对地方”

先别急着买更快的芯片，先想清楚信息怎么流动

一个看似反直觉的问题是：为什么 AI 系统越强，越像是在和网络作战，而不是和算力作战？ 直觉上，我们总以为性能提升主要靠更大的矩阵单元、更高的频率、更多的 TensorCore。但当模型从单卡走向多卡，当训练从几十卡走向成百上千卡，真正拖慢系统的，往往不是“算不过来”，而是“来不及送到”。

这就是现代 AI 计算里最容易被低估的一层现实：算力只是引擎，通信才是传动系统。如果传动系统设计不好，再强的引擎也会在换挡、打滑、空转中被浪费掉。多机多卡训练的世界，本质上不是单点计算竞赛，而是一场关于数据路径、同步方式和广播机制的系统设计竞赛。

从这个角度看，RDMA 与广播式计算架构其实在回答同一个深层问题：如何让信息以最低代价抵达最需要它的地方。前者解决跨节点通信，后者解决芯片内部或流水线中的数据分发。它们看似分属网络和芯片两个层面，实际上都在处理一个共性难题：减少中间层的转发、排队和协议摩擦。

---

一切性能问题，最后都会变成“谁来搬数据”

在传统计算系统里，数据搬运是隐形成本。程序员写的是算术，硬件做的是搬运。尤其在分布式训练里，梯度同步、参数广播、激活传递、AllReduce，都在不断提醒我们：计算密集型应用并不等于算力主导型系统。当每一步都要等待别人把数据送到，吞吐率就会被同步机制锁死。

这也是为什么 RDMA 变得重要。它绕过操作系统内核，让一台主机可以直接访问另一台主机的内存。这个变化看似只是路径缩短，实际上改变了整个系统的经济学。原本需要经过内核协议栈的多次拷贝、上下文切换和协议处理，变成了更接近硬件直连的传输。实验室里常见的数字很说明问题，应用层端到端时延可以从 50 微秒级降到 RoCE 的 5 微秒级，甚至 InfiniBand 的 2 微秒级。

但更深层的意义不在于“快了多少”，而在于通信从软件主导的流程，转向硬件主导的路径。这意味着你不再只是优化程序，而是在设计系统的物理行为。就像高速公路和城市道路的区别，性能差异不是因为司机更努力，而是因为道路结构不同。

真正的性能提升，往往不是把同样的事做得更快，而是让信息不要再绕远路。

这句话适用于网络，也适用于芯片。AI 芯片中的 Broadcast Buffer 和多级广播，本质上就是在芯片内部重演同样的逻辑：不要让每个计算单元都单独取数，不要让每个步骤都重复搬运，而是让数据以最少的复制次数覆盖尽可能多的执行单元。

---

RDMA 解决“跨机器搬运”，广播结构解决“机内分发”

如果把分布式 AI 系统想象成一个工厂，那么网络负责把原材料送到不同车间，芯片负责把原材料分配到每条流水线。两个环节的最优目标不同，但原则高度一致：减少等待，压缩层级，提高局部协同。

InfiniBand 与 RoCEv2 代表了两种不同的工程路线。前者更像专用高速铁路，路权、调度、转发规则都由集中式 Subnet Manager 统一规划，适合超大规模、极致性能的场景。它的 Adaptive Routing 可以按包动态选路，在万卡级集群里维持更好的网络利用率。后者更像在通用公路上跑高性能车，硬件和生态更开放，成本更低，但对 Headroom、PFC、ECN 等参数配置要求更高，系统工程难度也更大。

这两条路并不只是“贵与便宜”的区别，而是确定性与通用性的权衡。InfiniBand 强在把不确定性收编到专用体系里，代价是封闭、昂贵、专用线缆和光模块都更依赖特定生态。RoCEv2 强在可以融入以太网世界，代价是你必须更严肃地面对拥塞控制、流量抖动和配置复杂度。前者像定制赛道，后者像改装城市道路。

而在芯片内部，广播式流水线又对应着另一种路径选择。PCU 架构中增加 Broadcast Buffer，并通过多级广播构造脉动阵列或 SIMD 向量计算，意味着数据不必为每个计算点单独准备一条运输链。一次广播，多处消费，局部复用，减少重复搬运。这种思路让某些场景下甚至不需要额外的 TensorCore，因为计算单元的组织方式，已经部分承担了“加速器”的角色。

这揭示了一个容易被忽视的统一原则：性能架构的核心，不是增加多少算子，而是把“分发”这件事做得多优雅。网络层面的 RDMA 和芯片层面的广播，其实都是在用不同粒度的硬件协同，降低分发成本。

---

一种更大的框架：AI 系统是“分发系统”，不是“计算机”

我们通常把 AI 系统理解成计算机升级版，但更准确的说法也许是：它是一台超大规模分发机器。模型训练的关键步骤，不只是乘加运算，而是让参数、梯度、激活、缓存、状态在众多执行单元之间高效流转。你可以把它理解为一场持续不断的合唱，谁先唱、谁后唱、谁要听到谁的声音，决定了最终是和声还是噪声。

从这个角度看，网络和芯片的设计开始呈现出惊人的同构性：

1. 都在和排队作斗争。排队会引入时延和抖动，抖动会破坏同步效率。
2. 都在和冗余复制作斗争。每多一次复制，就多一次带宽占用和缓存污染。
3. 都在和控制平面过重作斗争。太多软件层决策，会抵消硬件并行能力。
4. 都在追求局部自治。让最接近数据的地方做尽可能多的决定。

这就是为什么看似距离很远的 InfiniBand 和 Broadcast Buffer，其实在理念上是近亲。它们都在做一件事：把“谁去哪里拿什么”这件事，尽量提前写进硬件和拓扑里。当系统规模还小时，软件调度的灵活性很迷人；当规模变大，灵活性开始变成噪声，确定性反而成了性能的前提。

当系统足够大时，最贵的不是算错，而是等错。

这句判断非常关键。我们常常高估峰值算力，低估同步等待。可在万卡训练或者高吞吐推理里，系统时间的最大敌人不是单次计算耗时，而是最慢那一环让所有人停下来。于是，好的架构不再追求“每个点都最强”，而是追求“每个点都少等”。

---

为什么未来的 AI 竞争，更像在比“系统设计文化”

这也解释了为什么同样是 AI 芯片或同样是集群网络，不同团队的实际效果差异会非常大。决定胜负的，未必只是芯片参数表上的峰值指标，而是你有没有一套完整的通信哲学。

这种哲学至少包括三个层次。

1. 数据路径优先于算子崇拜

很多工程团队习惯先问：还能不能再加大矩阵单元，能不能再堆更多核心。更成熟的问题应该是：数据从哪里来，经过几次复制，在哪里汇聚，是否每一步都必要。如果数据路径设计错了，后面所有优化都是在修补。

2. 拓扑是性能的一部分

网络不是背景板，拓扑不是布线图。对于 InfiniBand，交换机本身不跑路由协议，而是由 Subnet Manager 统一计算转发表和管理 QoS，说明网络拓扑本身就是系统行为的一部分。对于芯片，Broadcast Buffer 和多级广播让流水线更像一个有组织的协作体，而不是彼此孤立的计算点。

3. 扩展性来自“少而精”的控制

超大规模系统最怕控制面膨胀。越是复杂的网络策略，越容易在规模扩大后出现不可控的边界行为。InfiniBand 的集中管理、RoCE 的复杂参数调优、芯片侧的广播组织，本质上都在提醒我们：扩展性不是把所有自由度都打开，而是把关键自由度收束到可预测的范围内。

如果把这一点应用到 AI 架构决策上，就会得到一个非常实用的判断：当你的系统开始频繁被通信拖慢时，不要只问“换更快的卡有没有用”，而要问“我的系统是不是已经从计算问题，转化成分发问题了”。一旦转化发生，最有效的优化方向通常不是单点加速，而是重构通信结构。

---

Key Takeaways

• 先看数据流，再看算力表。 如果训练或推理总在等待同步，瓶颈很可能在通信而不是计算。
• 把“减少搬运”当作首要原则。 无论是 RDMA 还是广播式芯片结构，核心都是减少中间层、减少复制、减少等待。
• 大规模系统里，确定性比灵活性更值钱。 当规模上来以后，受控的拓扑和稳定的调度往往比看似自由的通用方案更高效。
• 把网络和芯片放在同一个框架里思考。 你会更容易发现：它们都在解决分发、同步和拥塞，只是粒度不同。
• 优化目标不是“更快的单点”，而是“更少的无效流动”。 这是设计高性能 AI 系统时最容易忽略、也最值得坚持的原则。

---

结语：AI 时代最重要的能力，可能是让信息少旅行

我们一直在追求更大的模型、更快的芯片、更高的带宽，但真正决定系统上限的，常常是一个更朴素的问题：信息是否被放在了离它最近、最该出现的地方。当 RDMA 让跨机通信绕过内核，当 InfiniBand 用集中式管理和动态路由压缩网络路径，当 PCU 通过 Broadcast Buffer 和多级广播重构芯片内部分发逻辑，这些看似分散的技术选择，其实都在指向同一件事。

未来的 AI 竞争，不只是比谁算得更快，而是比谁更懂得把计算组织成一套低摩擦的信息流系统。换句话说，真正的智能基础设施，不是把世界搬得更快，而是让世界少搬几次。

当你下一次看到“峰值算力”时，或许应该先问一句：这些算力，是在工作，还是在等数据赶路？