真正的算力不是芯片速度，而是让整个集群停止等待

真正决定一台人工智能服务器价值的，究竟是芯片上印着多少 TFLOPS，还是它能否让数十块芯片像一块芯片那样工作？

这个问题看似技术化，实际上正在重写整个算力产业的经济逻辑。过去，人们可以把加速器理解成一台更快的计算器：参数越多，频率越高，峰值算力越大，性能就越强。但大模型时代的关键变化是，计算已经不再是孤立发生的。模型被切成许多部分，分布在不同芯片、不同服务器，甚至不同交换机路径上。每一次矩阵运算，都可能伴随着一次数据交换、一次同步和一次内存重排。

于是，真正稀缺的资源不再只是乘加运算，而是让分布式计算保持连续的能力。

这也解释了一个看似矛盾的现象：有的系统依靠极其昂贵的专用高速互联，把大模型紧密地包在一个高带宽域内；另一些系统则试图通过更开放、更便宜的以太网，将通信协议、拥塞控制、集合通信和张量语义全部下沉到硬件中。它们表面上是在竞争网络技术，深层上却是在回答同一个问题：

当模型规模超过单个芯片的边界时，究竟应该扩大“单机”的边界，还是重新定义网络的智能？

大模型的第一道墙，不是算力，而是边界

一个模型能否高效运行，首先取决于它被切分之后，数据需要跨越什么样的边界。

以混合专家模型为例，一个拥有约 1.8 万亿参数的模型，按照每个参数 8 位计算，仅存储权重就需要约 1831 GB 的内存。它当然不可能装进一块 GPU，甚至无法装进一台普通的八卡服务器。因此，模型必须被拆分到几十块甚至上百块加速器上。

但“拆分”并不只是把文件分成几份。模型在运行时还要不断交换中间结果。张量并行要求同一层的矩阵计算分布在多块 GPU 上，之后通过多次集合通信合并结果。专家并行则需要把不同 token 路由到不同专家，形成大规模的全对全通信。流水线并行需要处理阶段之间的传递和等待，数据并行则要同步梯度或状态。

可以把它想象成一家餐厅。

如果所有厨师都在同一个厨房里，传递食材只需伸手即可完成，这对应高带宽、低延迟的片内或机内互联。如果厨师分布在不同楼层，食材需要经过电梯和走廊，哪怕每个厨师的刀工更快，整家餐厅的出餐速度仍会被运输时间限制。更糟的是，运输过程还需要排队、确认、重传和协调。

这就是为什么网络边界会产生性能断崖。八块 H100 或 H200 通过 NVLink 紧密连接时，张量并行可以在一个高带宽域内完成。当并行规模超过这个边界，通信被迫进入 InfiniBand 或以太网，单向带宽从约 900 GB/s 级别下降到 400Gb 网络约 50 GB/s 的量级，性能并不会随着 GPU 数量继续线性增长，反而可能明显下降。

GB200 NVL72 的意义，正在于把这个高带宽域从八块 GPU 扩大到 72 块。它不是简单地增加了 GPU 数量，而是扩大了一个模型可以被“像单机一样”处理的范围。对于需要大规模张量并行和专家并行的模型，这种扩大可以避免数据频繁穿越网络边界，直接改变模型的最优切分方式。

然而，这条路线也有一个隐含前提：高带宽域越大，系统越依赖专用互联、专用交换结构、液冷和一体化封装。它把复杂性集中在系统内部，用极高的硬件协同换取更简单的编程体验和更稳定的性能。

另一条路线则试图接受网络的复杂性，并让网络自己处理这些复杂性。

以太网的真正竞争力，不是便宜，而是可编程的系统边界

把以太网的优势简单归结为“成本低”是不够的。低成本只能解释为什么它容易被采购，却不能解释为什么它可能承载大规模训练和推理。

更深层的优势在于，以太网生态允许系统把许多原本由 CPU、通信库和应用程序承担的工作，逐步迁移到智能网卡和交换机中。这样做的目标不是让以太网变成另一个 NVLink，而是让一个开放网络具备理解人工智能通信模式的能力。

传统 RDMA 更适合连续内存和明确的读写关系。发起方知道本地和远程缓冲区的指针，随后直接读取或写入远端内存。但深度神经网络的通信通常是发送和接收模型。发送方拥有发送缓冲区，接收方拥有接收缓冲区，双方还需要通过一个交会过程确定数据何时可以安全移动。

这两种模型并不天然匹配。

如果发送方先发送，而接收方还没有发布接收操作，网络可能返回 RNR NACK，随后触发重传。另一种办法是在接收端设置临时缓冲区，先把数据放进去，等真正的目标缓冲区可用后再复制一次。前者增加等待和重传，后者增加延迟、内存占用和复制成本。

更有效的办法，是让硬件直接理解交会过程，确保数据只发送一次，并且不需要额外的内存复制。此时，应用层可以继续使用简单的集合通信接口，而复杂的协调被卸载到加速器和网络硬件中。

这不是一个局部优化，而是语义下沉。网络不再只是搬运字节，而是开始理解集合通信、张量、子张量、归约和同步。

例如，标准 RDMA 更习惯连续缓冲区，但神经网络处理的是张量和子张量。把一个分散的子张量重新整理成连续内存，再交给 RDMA，可能本身就消耗大量时间和内存。若网卡可以直接按张量语义访问本地和远程数据，数据布局就不必被迫服从网络接口的旧模型。

类似的变化也发生在集合通信中。一个由多个 rank 和多个端口组成的集群，需要把集合操作拆分为大量发送和接收。如果拆分过程交给 CPU，不仅消耗主机资源，还可能降低网络端口利用率。将集合通信内核卸载到硬件后，即使缓冲区只有约 300KB，也有机会维持接近全带宽的传输。

网络归约则更进一步。对 sum、min、max 等操作，数据不必先完整传到某个 GPU，再由 GPU 进行计算。交换路径中的硬件可以直接完成部分归约，并且支持 FP32、FP16、BF16 和 FP8 等数据类型。对于 FP16 和 BF16，还可以用 FP32 累积来改善精度。

这相当于把餐厅里的传菜员升级成了会切菜、配料和合并订单的智能物流系统。它不只是把食材从 A 点送到 B 点，而是在运输途中完成一部分工作。

因此，以太网的核心命题不是“用更便宜的网络替代更昂贵的网络”，而是：能否通过硬件卸载，把通用网络变成理解模型通信的专用系统。

性能的敌人，是等待，而不是峰值算力

许多服务器规格表最容易造成的误导，是把峰值算力当成实际吞吐量的近似值。一个 B200 可能拥有约 2250 TFLOPS 的 FP16 或 BF16 算力，液冷环境中的 GB200 NVL72 甚至可以达到约 2500 TFLOPS 级别。但这些数字只有在计算引擎始终有数据可用时才有意义。

实际系统中，性能损失往往来自四种等待。

第一种是通信等待。张量并行中的 all reduce 和 all to all 会随着 GPU 数量增加而变得更频繁、更昂贵。每增加一块 GPU，理论上增加了计算资源，也可能增加同步参与者和数据路径。

第二种是拓扑等待。一条消息经过多少跳交换机，是否存在多条等价路径，路径是否拥塞，都会影响完成时间。即使平均带宽很高，只要少数消息在关键同步点上变慢，整个计算阶段就必须等待最慢的参与者。

第三种是协议等待。接收缓冲区尚未准备好、数据发生重传、队列状态需要维护，这些都不是 FLOPS 指标能够体现的成本。

第四种是语义等待。如果应用使用张量和子张量，而硬件只理解连续字节，系统就会在数据整理、复制和地址转换中消耗时间。

可以用一个简单的公式理解系统效率：

有效性能 = 峰值计算能力 × 数据可供给率 × 同步完成率。

峰值计算能力决定上限，数据可供给率决定计算单元是否吃得饱，同步完成率决定整个集群是否被最慢链路拖住。很多系统只优化第一项，却忽略后两项。

这也解释了为什么同一代产品在不同模型上的收益差异巨大。对于小模型，计算规模有限，模型可以装进较小的高带宽域，B200 相对 H100 的优势更接近硬件 FLOPS 和内存带宽的提升。对于超大模型，瓶颈转向跨设备通信和模型切分，GB200 NVL72 的大规模 NVLink 域就变得非常重要。

因此，GB200 对大型模型推理可能带来约 5 倍到 21 倍的性能提升，而对较小模型的收益却没有同样夸张。系统价值不是芯片性能的固定倍数，而是模型结构、并行方式、通信边界和交互目标共同决定的函数。

从购买芯片，转向购买“有效并行规模”

这带来一个更有用的采购和架构框架：不要首先问一台机器有多少 GPU，而要问它能让多少 GPU 有效地共同完成一次模型计算。

可以把这个指标称为“有效并行规模”。它不是物理 GPU 数量，而是满足以下条件的 GPU 数量：

1. 设备之间的通信带宽足以支撑模型的并行方式。
2. 网络延迟不会让同步成本吞噬计算收益。
3. 内存容量可以容纳权重、激活、KV Cache 和通信缓冲区。
4. 集合通信不会随着节点增加而产生不可承受的队列和连接开销。
5. 软件栈能够直接表达模型的数据布局，而不需要频繁复制和重排。

以这个框架看，GB200 NVL72 的优势是把有效并行规模直接做大，让 72 块 GPU 共同承担一个大型模型时仍然接近一个高带宽系统。Gaudi 3 的路线则是通过硬件集合通信、张量引擎、拥塞控制、多路径负载均衡、选择性重传和网络归约，提高开放网络的有效并行规模。

两者并非简单的优劣关系，而是两种不同的系统哲学。

一种哲学认为，最重要的通信应该留在一个极其快速、极其紧密的封闭域内。另一种哲学认为，集群最终会大到无法全部放进一个封闭域，因此必须让外部网络具备足够的智能、弹性和扩展能力。

前者像修建一座大型中央厨房，把所有关键工序集中在一起。后者像建设一张遍布城市的自动化物流网络，让分散的厨房能够协同生产。前者追求局部的极致效率，后者追求规模增长时的边际可持续性。

真正成熟的系统可能会同时采用两种思想：在最紧密的张量并行层面使用高带宽互联，在更大范围的专家并行、数据并行和集群扩展层面使用具备硬件卸载能力的以太网。未来的竞争，不是某一种网络彻底消灭另一种网络，而是谁能更准确地把通信层级与模型层级对应起来。

Key Takeaways

1. 不要用峰值 TFLOPS 代替真实性能。 评估硬件时，必须同时测量 all reduce、all to all、同步尾延迟、内存带宽利用率和跨节点通信效率。

2. 先确定模型的并行方式，再选择网络。 小模型、张量并行规模较小的任务，与需要大规模张量并行和专家并行的超大模型，最优硬件可能完全不同。

3. 把有效并行规模作为核心采购指标。 72 块 GPU 不一定比 32 块 GPU 更有效，关键在于多少设备能够以足够低的通信成本共同工作。

4. 关注通信语义是否贴合模型。 硬件是否原生支持集合通信、张量和子张量、网络归约、拥塞控制以及选择性重传，往往比单纯增加链路带宽更重要。

5. 用四年周期规划基础设施。 今天的大模型会变成明天的小模型，但网络边界、液冷能力、软件生态和扩展拓扑一旦确定，往往比单代芯片更难更换。

最值得重新思考的，是“加速器”这个词本身。它不再只意味着一块更快的计算芯片，而意味着一整套能够减少等待的系统：芯片负责计算，网卡理解张量，交换机参与归约，拥塞控制感知延迟，软件把模型拆分成硬件真正擅长执行的形状。

下一代算力竞争的胜负手，不是谁拥有最多的计算单元，而是谁能让最多的计算单元同时保持忙碌。

当模型继续变大时，单个芯片的速度会越来越像一个局部指标。真正决定商业回报的，是从模型权重到最终 token 的整个路径上，有多少时间用于计算，又有多少时间浪费在边界、搬运、排队和等待上。所谓高性价比，并不只是用更便宜的设备完成同样的工作，而是让系统少一些必须跨越的边界，让每一次通信都更接近计算本身。

算力的终点，可能不是更快的处理器，而是一个让处理器几乎不必等待的世界。