为什么 AI 的真正瓶颈不是算力，而是谁拥有“内存的主权”

先问一个反直觉的问题

如果一台机器的算力翻了 100 倍，为什么它仍然可能像没升级一样慢？

很多人第一反应是：GPU 不够快，模型太大，显存太小，带宽不够。但更深一层的问题其实是：数据到底归谁调度，内存到底归谁管，设备之间能不能绕开 CPU 直接说话。在 AI 时代，性能不是单纯由“峰值算力”决定的，而是由一整套内存主权和互连权力决定的。

这听起来像底层工程细节，实际上却像一场架构战争。CPU 想继续做中心，GPU 想获得自治，网络与交换芯片想把通信搬到更靠近数据的地方，而协议设计者则在决定：谁能直通，谁必须经过主机，谁能共享地址空间，谁只能排队等待。

这就是今天最关键的变化：AI 竞争的核心，正在从“单点算力更强”转向“系统内谁拥有更大的数据流控制权”。

---

一切扩张，最终都会撞上互连

过去十年，模型规模从 AlexNet 的时代一路冲到 GPT4 级别，参数量增长了数千倍。问题是，算力和显存并没有以同样的速度增长。于是训练和推理不再只是“把模型做大”，而变成了一个更困难的问题：如何让成百上千个芯片像一个整体一样工作。

这时，互连就从配角变成了主角。

可以把整套 AI 系统想成一座城市：

• 算力芯片像工厂，负责生产。
• 显存和内存像仓库，存放原料和半成品。
• 互连网络像道路和立交桥，决定货物流动效率。
• 协议像交通规则，决定车能不能直行、掉头、借道、分流。

如果道路只够窄，工厂再多也会堵车。如果每次搬货都必须先经过市政府审批，效率也会极低。于是，真正决定城市吞吐量的，不再只是工厂数量，而是谁能在多大范围内绕开中心节点，建立更短、更直接的路径。

这正好解释了为什么 AI 生态会同时出现三种不同层级的互连需求：

1. 业务网络互连，负责数据输入、输出、checkpoint 和存储系统对接。
2. Scale Out 网络互连，负责把训练横向扩展到大量 GPU 机柜。
3. Scale Up 网络互连，负责单机柜或紧密集群内的超低时延、高带宽点对点通信。

表面上看，这只是按场景分类。实际上，这是一个更深的判断：不同层级的“通信自由度”必须由不同协议来承载。如果一套规则想同时服务全世界和一条胡同，最后往往两边都不满意。

---

CPU 中心主义，正在被设备自治挑战

早期计算系统默认一个事实：CPU 是大脑，其他设备是器官。它负责分配内存、调度任务、决定谁先谁后。PCIe 的历史，也是在这种中心主义下展开的。它原本是为了让设备挂到主机上而存在的标准，天然带着“主机优先”的哲学。

但 AI 设备的行为方式，偏偏越来越不听话。

GPU 不是传统意义上的外设。它有自己的计算单元、自己的高速内存、自己的调度节奏，甚至在执行模型时，会把原来由 CPU 承担的一大部分工作，转移到设备侧完成。比如 CUDA 的模式，某种程度上就是让 GPU 建立起一个独立王国：它不只是在算，更是在管内存、管任务、管数据流。

这就是冲突的根源。

一旦设备开始自治，系统设计就会从“让设备服从 CPU”转向“让 CPU 与设备共享某种更平等的关系”。而在这个过程中，互连协议的政治意味非常强。

• 如果协议鼓励 device to device 直通，系统就更像联邦。
• 如果协议要求一切都经过 host memory，系统就更像单中心国家。
• 如果协议允许共享地址空间和一致性语义，软件就可以把 CPU 和 GPU 看成同一个内存世界。
• 如果协议只提供搬运带宽，不提供语义统一，程序员就必须不断手工做分区和同步。

这里真正重要的，不是“带宽多多少”，而是系统愿不愿意承认设备是自治参与者。这是从硬件性能问题，跃迁到架构权力问题的一步。

---

为什么高速互连不只是快，而是改变了编程模型

很多人以为 NVLink、CXL、UALink、RDMA 之类的东西，只是不同速度等级的“线缆标准”。其实它们在回答完全不同的问题。

问题 1：设备能不能直接互说话？

这决定了 GPU 之间、SSD 和 GPU 之间、网卡和 GPU 之间，是否能够绕过 CPU 进行数据交换。GPU Direct、RDMA Direct、peer to peer 这类能力，本质上是在减少“中间人”。如果中间层太多，数据搬运的成本会吞掉算力收益。

问题 2：设备之间是不是共享同一套内存意义？

这比速度更关键。因为只要语义不统一，程序员就必须思考“这块内存是不是 pinned 住了”“这地址能不能被另一边看到”“谁负责一致性”。一旦语义统一，应用开发就会从“手工搬砖”变成“按任务描述系统行为”。

问题 3：系统是否允许点对点扩展？

在大规模 AI 训练里，尤其是张量并行和专家并行下，通信不只是上下行吞吐，更重要的是点对点、组内协作、局部聚合。为此，单纯把以太网做快还不够，还需要更贴近 AI 计算拓扑的互连设计。

一个非常有启发性的观察是：最先进的互连协议，往往不是为了让数据“跑更快”，而是为了让软件“少想一点”。当硬件能提供更强的地址语义、低时延转发和更自然的共享模型，程序员就不必每一步都手动决定谁拷贝到哪里、谁何时同步、谁何时 pin 住内存。

这也是为什么某些系统看起来只是“一个协议”，实际上却在重新定义编程边界。它把原本由软件补丁填补的复杂性，移回了硬件与协议层。

---

最深的分歧，不是标准之争，而是架构世界观之争

如果把这些技术放在一起看，会发现它们并不是同一条线上“谁更快”的竞争，而是两种世界观的碰撞。

世界观一：中心化主机模型

这套模型强调：

• CPU 是中心
• 设备通过主机间接协作
• 一致性与语义尽量收口到主机侧
• 设备可以很强，但不能破坏主机秩序

CXL 这类设计就非常符合这种哲学。它的优点是简单、容易落地、兼容性好，能让现有设备和交换芯片在原有基础上做有限改动，从而快速进入生态。

但它也有边界：

• 它更像是把设备纳入主机宇宙，而不是承认设备宇宙本身。
• 它擅长一致性，却不一定擅长点对点自治。
• 它让生态更平滑，却可能压制更激进的设备协同模式。

世界观二：设备自治模型

这套模型认为：

• GPU 不是附属品，而是完整的计算主体
• 设备间通信应尽可能直接
• 内存语义应该向设备侧倾斜
• 系统应该允许多个参与者共享“近似同一台机器”的体验

Summit 时代的一些设计，就是这类思路的高光时刻。CPU 和 GPU 不再只是主从关系，而是通过深度互连形成一种近似整体的执行空间。一个 kernel 不必事先固定到底跑在哪边，内存也可以在 CPU 和 GPU 之间更自由地流动。那种系统的震撼不在于它某一次 benchmark 有多高，而在于它让人第一次看见：异构系统可以像单体系统一样编程。

这件事的代价当然也很大。它需要更复杂的控制器、更深的系统协同，以及硬件、固件、驱动、编译器的全栈配合。换句话说，越接近理想的“统一机器”，实现成本往往越高。

所以真正的分歧不是“谁更先进”，而是你愿意为哪一种可编程性付出复杂度。

---

AI 系统设计的真正难题：把“快”变成“自然”

到了这里，可以把问题压缩成一句话：AI 系统不是缺少更快的链路，而是缺少让计算自然流动的系统语法。

什么叫自然？

不是单看峰值带宽，而是看以下四件事能不能同时成立：

1. 通信路径短，减少不必要的中转。
2. 语义统一，避免程序员手工处理大量边界条件。
3. 拓扑匹配，让网络形状贴近并行计算形状。
4. 扩展成本可控，新的节点加入时，不必推倒重来。

这也是为什么新一代互连协议会越来越像“系统操作语言”，而不只是“物理层标准”。它们必须回答 AI 计算最现实的问题：

• 训练时，数据并行、张量并行、专家并行如何共存？
• 推理时，大显存、多卡拆分如何保持低时延？
• 交换机是否能承担一部分 in network compute？
• 单层和多层拓扑怎样保持带宽收敛比？

这些问题的共同点在于，它们都在处理一个词：摩擦。

系统里最昂贵的，不一定是算力本身，而是摩擦。每一次不必要的拷贝，每一次语义不一致，每一次必须经过 CPU 的绕行，都是摩擦。AI 规模越大，摩擦的损耗越不是线性，而是放大成系统性浪费。

所以，下一代互连的竞争，本质上是在争夺一种更低摩擦的计算秩序。

---

Key Takeaways

1. 不要只看带宽，看语义。 真正决定系统可编程性的，不只是“快多少”，而是设备之间是否拥有共享内存、一致性、直通和自治的语义。

2. 把 CPU 中心主义当作一种历史阶段，而不是永恒真理。 当 GPU、网卡、SSD 都开始具备更强自治能力时，系统架构必须重新分配主权。

3. 区分三种互连问题。 业务网络、Scale Out、Scale Up 不是同一个问题，不能用同一把尺子衡量。不同层级的通信，目标、拓扑和协议都不同。

4. 优先减少摩擦，而不是追求局部极限。 很多性能损耗来自绕路、pin 内存、同步等待和中间转发。减少这些“看不见的成本”比单点提速更有效。

5. 评估一个协议时，问它在强化谁。 它是在强化主机中心，还是强化设备自治？这个答案决定了它会塑造怎样的软件生态。

---

结语：下一场 AI 竞争，争的是“谁能让系统像一个东西一样工作”

我们总爱把硬件创新理解成参数竞赛：更高频率、更大带宽、更低延迟。但在 AI 时代，真正的跃迁不是某条总线跑得更快，而是整个系统是否开始以更少的中介、更统一的语义、更自然的拓扑协同工作。

当设备开始拥有自己的内存、自己的调度、自己的通信路径时，计算机就不再只是“CPU 加上外设”，而变成了一群彼此协商主权的计算主体。谁能定义这种协商规则，谁就能定义下一代 AI 基础设施。

换句话说，未来最重要的不是谁的芯片更快，而是谁能让这些芯片像一块更大的机器那样思考和行动。这才是互连真正的终局。