When Bandwidth Becomes the Boss: What RDMA and LLM Inference Reveal About the Real Bottleneck

速度的敌人，往往不是算力，而是搬运

一个看似反直觉的问题正在重塑高性能计算：为什么机器越强，系统反而越容易被“传数据”拖慢？

在多机多卡训练里，大家习惯先盯着算力，GPU 有多少，张量核有多快，峰值 FLOPS 有多高。但真正决定端到端体验的，常常不是算得快不快，而是数据能否足够快、足够近、足够少地到达计算单元。这也是为什么在集群里，RDMA 这种绕过内核协议栈、直接访问远端内存的技术，会把应用层时延从几十微秒压到个位数微秒。

同样的逻辑也出现在 LLM 推理里。模型权重很大，但 KV 缓存可能更大。即使算子本身足够高效，注意力计算仍然会被内存带宽支配，尤其在长上下文场景下，最后一个 token 的生成不再像“计算问题”，而更像一场把海量状态从内存搬到芯片旁边的物流战。

这两件事表面上属于不同世界，一个讲网络，一个讲推理。实际上，它们共同指向一个更深的事实：现代 AI 系统的竞争，不是单点性能的竞争，而是数据路径设计的竞争。

---

真正决定系统上限的，不是“更快的芯片”，而是“更短的数据路径”

如果把一台 AI 机器看作一个工厂，那么 GPU 不是工人，而是极其昂贵、极其擅长重复劳动的精密设备。设备越强，就越怕原材料供应不上。传统网络像是把原料先送进仓库，再由仓库管理员登记、分拣、转运，最后才到生产线。这个流程安全、通用，但层层经过系统开销，时延自然高。

RDMA 的价值就在于，它不是把网络速度提升一点点，而是改变了数据的运输方式。它绕过内核，让一台主机可以直接访问另一台主机的内存。这个“绕过”非常关键，因为它减少的不是抽象的协议步骤，而是每次通信都要重复支付的固定成本。对多机多卡协同而言，固定成本一旦被压低，很多原本被通信掩盖的问题，才会显露出真实结构。

LLM 推理同样如此。注意力机制并不总是算力密集型，它越来越像内存密集型。尤其在长上下文里，模型不是在“思考”某个 token，而是在“回忆”所有历史 token 对应的状态。KV 缓存一旦膨胀，GPU 时间的大头就被带宽吞掉了。换句话说，模型越强，越容易出现一个荒诞场景：最贵的芯片在等内存。

当系统规模上去以后，瓶颈通常不会消失，只会转移。真正优秀的架构不是消灭瓶颈，而是把瓶颈放到最可控、最便宜、最容易扩展的地方。

这就是为什么 InfiniBand 和 RoCE 会在高性能集群中占据重要位置，也解释了为什么分组查询注意力、窗口注意力这些算法改造如此关键。它们本质上都在做同一件事：减少“状态搬运”对系统的统治力。

---

算法和网络其实在解决同一个问题：如何让“少搬一点”比“快搬一点”更有效

很多人会把网络优化和模型优化看成两个领域：前者属于基础设施，后者属于算法创新。但如果从系统视角看，它们是同一个问题的两种解法。

网络侧的思路是：既然数据必须跨机器流动，那就让流动尽量直接。RDMA 通过绕开内核协议栈，显著降低通信时延。InfiniBand 进一步把控制逻辑集中到 Subnet Manager，由它统一计算转发表、管理分区和 QoS，再配合逐包动态路由，让超大规模组网尽量保持最优利用率。这里的核心不是“网络更快”这么简单，而是把不可避免的流动变得更短、更稳定、更可预测。

算法侧的思路则是：既然 KV 缓存这么大，那就不要让每个查询都背着同样重的记忆包袱。分组查询注意力通过让多个 query 共享一个 key，减少 KV 缓存大小和读取带宽。它不是单纯提高算力，而是在改变算力和带宽的配比，把原本受制于内存访问的流程，重新拉回到更利于 GPU 的计算模式。

这两条路径看似不同，实则共享一个原则：把系统从“数据搬运主导”拉回到“局部计算主导”。

可以这样理解：

• 网络优化，解决的是“跨机器搬运太慢”；
• 注意力优化，解决的是“跨时间回忆太贵”；
• 它们都在压缩状态的传播半径。

这也解释了为什么某些优化看似只是节省一点点带宽，实际却能改变整体性能结构。因为在现代系统里，瓶颈不是线性的。只要关键路径上的一次搬运减少了，后面的排队、等待、放大效应都会一起缩小。

---

一个更有用的框架：把 AI 系统看成“状态流动系统”

如果只用“算力 vs 带宽”来理解 AI 基础设施，视角还是太粗了。更有解释力的模型，是把系统拆成三种状态：计算状态、通信状态、记忆状态。

1. 计算状态，指芯片正在做的乘加、点积、归一化等操作。
2. 通信状态，指状态在节点之间移动，比如梯度同步、参数交换、KV 分发。
3. 记忆状态，指状态暂存在哪里，以及读取时要付出多大代价。

一个高效系统，不是让这三者都最快，而是让它们之间的切换最少、路径最短、代价最稳定。RDMA 的意义在于，它降低了通信状态切换到计算状态的成本。分组查询注意力的意义在于，它降低了记忆状态进入计算状态的成本。

这套框架还有一个重要启发：很多性能问题其实是“状态放错位置”的问题。

比如，长上下文推理中，KV 缓存如果无限增长，模型就会越来越像一个在巨型档案馆里翻文件的研究员。研究员再聪明，档案馆再整洁，只要每次查阅都要穿过长长的走廊，速度就会被建筑本身限制。于是问题的答案不是再训练一个更聪明的研究员，而是改变档案的组织方式，缩小需要翻找的范围，或者把常用资料放到更近的地方。

InfiniBand 的集中式子网管理和逐包动态路由，也可以放进这个框架里理解。它不是单纯追求“最快路由”，而是在整个网络层面把状态分布得更合理，让路径的拥塞更少、可预测性更强。超大规模 GPU 集群之所以需要这类设计，正是因为规模一大，局部最优很容易变成全局灾难。一个交换机上的小失配，可能会在万卡集群里被放大成系统性抖动。

规模越大，越不能只问“单点多快”，而要问“状态在哪里，谁来搬，搬几次，代价由谁承担”。

这个问题比“带宽有多少”更根本。

---

为什么超大规模时代，工程能力越来越像“交通规划”而不是“造车”

一个常见误区是：只要芯片性能够强，系统就会自然变快。现实恰好相反。越强的芯片，越容易暴露系统的组织问题。因为当单点算力上升后，原来不明显的通信损耗、缓存抖动、拓扑不均衡、参数同步延迟，都会变成主导因素。

这就是为什么在万卡级集群里，网络架构不再只是“连接器”，而是系统性能的上层决定因素。InfiniBand 之所以在大规模 GPU 集群中有代表性，不是因为它仅仅速度快，而是因为它把很多复杂性收进了一个更可控的系统模型里。专用线缆、专用交换机、专用管理逻辑，换来的是更强的确定性和更高的有效利用率。

RoCE 的价值则在另一端。它更通用，更便宜，也更容易和现有以太网体系结合。但它的代价是参数配置更复杂，尤其在 Headroom、PFC、ECN 等环节上，任何微小失误都可能引发吞吐下降或尾延迟放大。换句话说，RoCE 更像在既有城市路网里做高性能调度，灵活但更考验治理；InfiniBand 更像专门为高密度车流重新规划的高速路网，成本更高，但目标更明确。

这个类比也适用于 LLM 推理。模型不是越大越好，KV 缓存也不是越多越好。一个真正高效的推理系统，必须像城市交通管理一样，知道哪条路要保留，哪条路可以压缩，哪部分状态值得缓存，哪部分状态应该重算，哪些 token 是高频路径，哪些只是偶发访问。最好的优化，不是盲目增加资源，而是让稀缺资源流向真正高价值的位置。

---

Key Takeaways

1. 先找数据路径，再找算力瓶颈。 很多系统慢，不是因为算得不够快，而是因为数据绕路太多。

2. 优先减少“必须搬运的状态”。 无论是跨机器通信，还是长上下文推理，最有效的优化通常是减少状态量，而不是只提升搬运速度。

3. 把性能问题分成计算、通信、记忆三类。 这样更容易判断该优化算法、网络，还是缓存策略。

4. 规模越大，越要追求确定性。 InfiniBand 的价值不只是低时延，还在于它把大规模网络的行为变得更可控。

5. 别只问“更快吗”，要问“更少吗”。 分组查询注意力之所以重要，不是因为它让每一步都更炫，而是因为它减少了 KV 缓存这一类系统性负担。

---

结语：AI 时代的真正竞争，是谁更会减少无谓的流动

如果说过去的计算时代比的是“谁能算得更快”，那么 AI 时代越来越像是在比“谁能让数据少走弯路”。网络架构、注意力机制、缓存策略、交换拓扑，看似分散，实则都在回答同一个问题：系统中的状态，究竟应该在哪里停留，在哪里移动，在哪里被重新计算。

这也是一个重要的认知转变。我们常把性能提升理解为“增加某种能力”，但在现代 AI 系统里，真正的突破往往来自删除多余的动作。少一次内核穿越，少一轮无效读取，少一层不必要的转发，少一段被放大的等待，系统就会突然进入另一个效率区间。

所以，下次当你看到一个高性能 AI 系统，不要只问它用了什么更快的芯片。更值得追问的是：它把数据送得有多近，把状态留得有多少，把路径缩得有多短。 这三个答案，往往比峰值算力更能决定未来。