为什么下一代算力竞争，本质上是把“依赖”从系统里搬走

你以为算力瓶颈在芯片，其实常常在“依赖”

如果把一台 AI 训练系统想象成一座城市，那么最贵的不是高楼，而是堵车。很多人谈算力时，第一反应是更快的 GPU、更大的显存、更高的频率；但真正拖慢系统的，往往不是“单点有多强”，而是依赖关系有多重。当计算被迫在一个中心化的时间轴上排队，当数据必须先穿过内核、再穿过协议栈、再穿过内存墙，性能就不再由峰值决定，而由最慢的一段链路决定。

这也是为什么高性能计算和空间计算会在同一个问题上握手：如何把依赖从系统中尽可能搬走。网络层面，RDMA 通过绕过内核，把主机到主机的通信从几十微秒压缩到个位数微秒。架构层面，spatial computing 试图把计算从“统一调度的时间机器”变成“并行展开的空间机器”。它们看似属于不同领域，其实都在解决同一件事：不要让所有事情都经过一个中央瓶颈。

现代算力系统的真正敌人，不是“慢”，而是“必须按顺序慢”。

---

从 TCP/IP 到 RDMA，再到空间计算：本质都是绕开中央裁判

传统网络像一个守规矩但笨重的邮局。数据包到达后，先排队，先检查，先经由操作系统内核，再由协议栈决定去向。这个过程非常通用，也非常稳妥，但代价是时延和抖动。对于大多数互联网业务，这点代价可以接受；对于多机多卡训练来说，这种代价会迅速变成系统级损失，因为模型并不是在等“一个包”，而是在等“成百上千个设备同时到位”。

RDMA 的关键价值，不是“更快的网卡”这么简单，而是重新定义通信路径。它让一台主机可以直接访问另一台主机的内存，减少了 CPU 参与，减少了内核干预，也减少了那条层层转发的路径上可能出现的阻塞。于是，通信从“应用通过操作系统发信”变成“设备之间直接搬运状态”。这件事的意义，和空间计算里让 PE 之间直接传递数据是同构的。

在这层意义上，InfiniBand 与 RoCEv2 的差别，不只是技术细节，更像两种组织秩序。InfiniBand 更接近一个高度集中的交通体系，由 Subnet Manager 统一计算转发表，并对 Partition、QoS 等做集中管理，网络里不靠常规路由协议自组织，而是靠一个全局裁判指挥。RoCEv2 则更像把这种能力放到了更通用的以太网基础设施之上，代价是配置复杂度更高，尤其是 Headroom、PFC、ECN 等参数，需要非常谨慎地调优。

这里的真正分歧不在于“谁更先进”，而在于你愿意把多少复杂性留给系统，多少留给人。InfiniBand 把复杂性封装进专用基础设施，换来稳定的低时延和更强的超大规模吞吐；RoCE 把一部分复杂性暴露给以太网生态，换来更强的通用性和更低的门槛。它们在做同一件事，但路径不同：一个追求更少的临场协商，一个追求更广的兼容边界。

而空间计算的兴起，实际上是把这条逻辑推进到更深一层。它不再满足于“网络内绕过内核”，而是问：既然瓶颈常常来自依赖，那能不能让计算本身也变得更像空间展开，而不是时间排队？

---

计算的真正边界，不是摩尔定律，而是依赖图的形状

冯诺依曼架构的伟大之处，在于它把状态和计算统一到内存中心。PE 通过共享内存交换信息，依赖关系可以被“存起来”，程序顺序执行即可。这种模式之所以统治了几十年，是因为它足够通用，足够优雅，也足够适合大多数软件形态。

但今天的问题变了。AI、图计算、稀疏计算、多机多卡训练、动态 shape、MoE，这些负载的共同特征是：计算图比控制流更重要，数据流比指令流更重要。它们并不总是沿着整齐划一的顺序推进，而是像一片不断生长、分裂、收缩的网络。此时，单纯依赖一个中心化内存和一条统一时间轴，就会遭遇两个老问题：Amdahl 定律和 memory wall。

Amdahl 定律告诉我们，只要系统里存在不可并行的部分，总加速比就会很快撞墙。memory wall 则提醒我们，算力增长比内存带宽和访问延迟的改善快得多。于是，哪怕芯片内部再强，如果数据仍然要在一个中心位置反复来回搬运，性能提升就会越来越像在一个越来越窄的门缝里挤。

空间计算的反直觉之处在于，它不是单纯追求“更快”，而是追求减少依赖的中心性。每个 PE 不只是“算一下”，而更像一个带有局部内存、通信能力和执行能力的小自治体。Tenstorrent 之所以让人觉得路径正确，一个重要原因就在于它不是把整颗 SOC 做成一个更大的单体，而是把它拆成许多小自治节点，甚至可以类比为一个由多个小 SOC 构成的松散联盟。它采用 actor 模型，本质上就是让系统接受“局部自治，异步协作”的现实。

冯诺依曼架构的核心，是用内存消解依赖。空间计算的核心，则是尽量不让依赖长出来。

这一区别非常关键。前者是“把依赖记录下来，再统一管理”。后者是“尽量把依赖切短、切碎、切局部化”。一旦你接受这个视角，很多现象就变得顺理成章了：为什么 BSP 把计算与通信分成 phase，为什么 actor 模型对这类芯片更自然，为什么编译器在这里不再只是优化工具，而是某种依赖编排器。

---

统一调度的代价：同步、异常与“坏事总会在最不方便的时候发生”

空间计算听起来很美，但它遇到的第一批敌人不是性能，而是变化。分支、递归、异常，这三者几乎就是对任何静态、规则、可预测系统的公开挑衅。它们意味着计算路径不是线性的，不是整齐划一的，不是每个节点都在同一时刻做同一件事。

BSP 模型的思路很巧妙，它把计算与通信切成独立阶段，让依赖被“制度化消失”。在一个 phase 里，各自计算，在另一个 phase 里统一交换信息，依赖问题被整齐地推平了。对于编程而言，这非常友好，因为你不再需要为复杂的局部交互不断构造细粒度同步。然而，代价也同样明显：全局同步会制造巨大的电源波动、时序抖动和资源浪费。当一群 PE 一起启动、一起停止，电流的阶跃变化会让电源完整性成为系统级挑战。

这正揭示了空间计算的一个深层矛盾：它想摆脱时间上的统一控制，却又不得不面对物理世界的统一约束。芯片不是抽象机，电压不会因为算法优雅而变得平滑，供电网络也不会因为编译器聪明而自动稳定。于是，真正的系统设计不再只是“让算力跑起来”，而是要在计算抽象、编译器、互连、供电、容错之间做整体协同。

异常处理则是另一个更微妙的问题。传统冯诺依曼系统里，异常常被视为边缘情况，因为共享内存和统一控制流让错误有一个清晰的回收路径。但在空间计算里，异常并不边缘，反而是常态的一部分。由于数据在 PE 之间直接流动，局部失败、局部拥塞、局部重试，都会放大成系统调度问题。也就是说，空间计算想要真正成立，就不能只优化“平均情况”，而要把容错性变成一等公民。

这恰好是 AI 和空间计算能够汇合的原因。神经网络本来就不是严格数学证明式的计算，它天然容忍噪声、近似和局部不完美。MoE、动态 shape、稀疏激活这些机制，本质上都在接受一个现实：系统不一定每一刻都处于完全规则状态，但只要整体统计结构稳定，任务仍然可以完成。换句话说，AI 不是在等待完美机器，而是在等待一个更接近自己结构的机器。

---

真正的突破，不是“更强的芯片”，而是让系统更像问题本身

如果把这些线索合起来看，会出现一个很值得重视的判断：下一代算力竞争的焦点，不是谁能把单个指标做得更极致，而是谁能让硬件组织形式更贴近负载本身。

训练大模型时，真正消耗系统的，并不只是浮点运算，还有参数同步、梯度聚合、稀疏路由、跨节点通信和失败恢复。这里的核心难题不是“能不能算”，而是“能不能持续一致地协调大量局部动作”。这正是 RDMA 和空间计算都在解决的问题：前者让节点之间的通信更接近直接内存访问，后者让计算节点之间的协作更接近自治体之间的协商。

你可以把这看成一个更大的设计原则：把状态留在离它最近的地方，把依赖限制在最小的必要范围内。这条原则既适用于网络，也适用于芯片，甚至适用于软件架构。一个好的系统，不是所有东西都走统一总线，而是让数据和控制尽量在本地闭环，只有必要时才上升到全局协调。

这也解释了为什么“充钱就能扩展算力”这句话只说对了一半。系统规模当然重要，但规模不是简单堆叠；它必须与问题规模、依赖结构和通信代价匹配。把更多节点堆进一个高依赖系统里，只会更快触发瓶颈。相反，如果你的系统天生允许局部自治、局部容错、局部通信，那么规模扩大才真正转化为能力提升。

未来最有价值的算力，不是把一个中心做得更大，而是把中心做得更少。

这句话也许听起来违背直觉，但它抓住了本质。无论是 InfiniBand 的集中式子网管理，还是 RoCE 的以太网兼容方案，无论是 BSP 的 phase 切分，还是 actor 模型的自治协作，它们其实都在回答同一个问题：如何让系统的协调成本，低于系统带来的并行收益。一旦协调成本高于收益，规模就不再是杠杆，而会变成负担。

---

Key Takeaways

1. 先看依赖，再看算力。 评估一个系统时，不要只看峰值性能，优先看它的依赖链有多长、同步点有多少、数据要经过几层转发。

2. 把数据和控制尽量本地化。 无论是网络、芯片还是软件，优先设计局部闭环，减少跨层、跨节点、跨时间轴的协调。

3. 把容错当成架构要求，而不是补丁。 对 AI 和空间计算来说，异常、动态 shape、局部失败不是边缘问题，而是系统常态，设计时必须预留容错空间。

4. 不要迷信统一调度。 全局同步看起来整齐，实际上常常把电源、时序和吞吐问题放大。能异步就尽量异步，能局部协作就不要强行全局一致。

5. 用“问题形状”选择“硬件形状”。 高度稀疏、动态、并行的任务，适合更分布式、更自治的架构；强顺序、强状态依赖的任务，仍然适合中心化内存模型。

---

结语：算力的未来，是把“必须排队”变成“可以并行”

我们总以为技术进步意味着更快的单点、更高的频率、更大的数字，但真正深刻的进步，往往是把原来必须排队的东西变成可以同时发生的东西。RDMA 让通信不必总是经过内核，空间计算让计算不必总是经过中心，AI 的演化则正在逼迫硬件承认一个事实：未来最重要的不是谁算得更用力，而是谁能让依赖更少地统治一切。

从这个角度看，算力竞争不只是芯片战争，也不是网络战争，而是一场关于组织形式的战争。谁能更好地安排状态、减少依赖、局部化协调，谁就更接近下一代系统的答案。也许真正值得追问的，不是“这颗芯片有多快”，而是“它让多少事情不再需要等别人”。