AI 竞赛的真正瓶颈，不是算力，而是精度该放在哪里

一次被忽视的反常识：最强系统，往往不是处处都“更精”

如果一台 AI 系统可以在某些地方使用 FP8 以追求效率，却又在另一些关键位置保留 BF16 甚至 FP32，为什么它反而更强、更稳定？再进一步，如果一款新硬件声称能把成千上万颗芯片连接成“无限的处理核流”，为什么真正决定胜负的，也许不是芯片峰值性能，而是谁能把精度和并行这两件事安排得更聪明？

这两个问题表面上分属不同世界，一个讲训练稳定性，一个讲硬件扩展性，但它们其实指向同一个核心矛盾：AI 的极限，从来不是单点技术的极限，而是系统里“脆弱部分”被放在了哪里。

今天的 AI 竞赛，已经不再只是“更快的 GPU”对“更大的模型”这么简单。真正的分水岭在于，谁能理解哪些地方必须保守，哪些地方可以激进，哪些部分可以容忍低精度，哪些部分一旦出错就会让整个系统失控。换句话说，AI 的工程学正在从追求统一优化，转向精细分层的风险管理。

---

系统不是越统一越强，而是越会区分“关键路径”越强

很多人第一次接触大模型训练时，会自然地认为：既然低精度更快、更省显存，那就尽量全局采用低精度。这种想法看起来高效，但在真实系统里往往会出问题。因为神经网络并不是一块均匀的橡皮泥，它更像一座由不同材料搭成的建筑，有些柱子可以用轻质材料，有些承重梁必须是钢筋混凝土。

这就是为什么有些组件必须保留更高精度，比如嵌入层、输出头、MoE 门控、归一化、注意力操作。这些地方不是“计算量最大”的地方，但它们是“信息最敏感”的地方。它们像一条管道上的阀门，哪怕只有很小的误差，也可能被后续层级放大，最终导致训练发散、收敛变慢，或者出现难以复现的不稳定。

这里的关键洞见是：系统的稳定性不是由最便宜的部分决定，而是由最脆弱的部分决定。

这也解释了为什么把主权重、梯度和优化器状态保存在更高精度里，并不是“浪费”，而是一种保险机制。训练不是单次前向传播的表演，而是一个持续迭代、误差累积、状态更新的长期过程。一个小小的数值误差，如果在数百万步更新中不断叠加，就会像一家账本里每笔都只差一分钱，最后总账却偏得离谱。

真正成熟的系统设计，不是把所有地方都优化到极致，而是知道哪些地方一旦省错了，就会连本带利地付出代价。

这也引出一个更深层的问题：如果精度需要被分配，那么算力是否也应该被分配？答案是肯定的。并且这正是硬件架构竞争的真正焦点。

---

硬件竞争的本质，不是更强的芯片，而是更少的摩擦

Tenstorrent 这类新玩家最有野心的地方，不是单纯做出一颗更快的芯片，而是试图重写“模型如何映射到硬件”的规则。它的叙事很诱人：编译器看到的不是一块块孤立的芯片，而是一个**“无限的内核网格”**；模型不必为了网络切分而被迫屈服，研究者可以把模型自然地扩展到更大规模，而不必担心层放置、图切片、张量切片这些麻烦事。

如果这件事真的成立，它的意义并不只是“更好用”，而是会改变机器学习扩展的经济学。因为在大模型训练里，最贵的从来不只是晶体管，而是摩擦：

1. 芯片之间通信的复杂度。
2. 编译器和框架需要做的人工适配。
3. 张量切分带来的额外同步成本。
4. 研究人员为了适配硬件而修改模型结构的认知负担。

任何一个环节都可能成为瓶颈。传统硬件体系里，模型开发者经常像在给一辆车换轮胎的同时，还要重造底盘。你想把模型做大，结果先被网络结构、通信拓扑、编译器能力和内存层级卡住。于是，“算力足够不够”往往不是问题，“能不能顺利把算力用起来”才是问题。

这就是为什么硬件的真正价值，不只是峰值吞吐，而是把系统中最昂贵的协调成本降到最低。

但这里有个必须冷静面对的地方。任何声称能“无软件开销”解决扩展问题的方案，都值得怀疑。因为大规模系统天然包含拥塞、热点、路由冲突、负载不均衡。网状网络里最常见的麻烦，不是平均情况，而是极端情况下局部拥塞如何传导到全局。换言之，真正的挑战并不是“能不能连起来”，而是当一部分链路变慢时，系统会不会塌陷。

这和精度问题形成了一个惊人的平行关系。低精度并不是不能用，而是不能在最敏感的地方乱用。同样，更多核心并不是不能连，而是不能把通信瓶颈无脑隐藏。两者本质上都在问：你能否把粗糙的地方安排在可以承受粗糙的地方，把精细的地方留给真正需要精细的地方？

---

AI 时代最重要的能力：识别“必须精细化”的边界

如果把今天的 AI 系统看成一条供应链，那么精度管理和硬件扩展其实都是同一个动作的两个版本：在不同环节施加不同等级的控制。

这比“统一升级”更像真正的工程现实。比如建桥时，不会要求每一颗螺丝都达到航空级标准。你会根据受力点、疲劳程度、风险等级，决定哪里必须最高标准，哪里可接受普通材料。AI 系统也是如此。嵌入层和输出头像入口和出口，负责定义系统如何理解和表达世界，稍有偏差就会改变整个信息流的意义。MoE 门控像交通警察，决定数据走哪条路，一旦决策噪声过大，整个专家系统的效率就会下降。归一化和注意力则像整套系统的调压阀和聚焦镜头，负责稳定信号和分配资源。

从这个角度看，高精度并不是“落后”，而是“有选择的保守”。而保守不是停滞，而是给激进的地方提供安全边界。你可以在别处用 FP8 追求速度，但前提是系统中最敏感的节点仍然被更高精度稳稳托住。

硬件设计也在走同样的路。所谓“无限的核心流”并不是字面意义上的无限，而是把复杂性从研究者手里收走，让底层编译器和互连系统去承担。理想状态下，研究者不必一边想模型结构，一边算拓扑拥塞，一边担心通信分片。这种抽象层次的提升，和混合精度训练的逻辑完全一致：把本不该由上层思考的摩擦，沉到系统内部去处理。

但这里真正重要的不是抽象本身，而是抽象的边界。抽象如果做过头，就会掩盖问题；抽象如果做得恰当，就会释放创造力。混合精度训练的美妙之处，不是“我们可以偷懒”，而是“我们知道哪里不能偷懒”。同理，先进互连和编译器的美妙之处，也不是“我们不用管系统”，而是“系统把最难的部分替我们管住了”。

竞争优势不再来自把所有事情都做满，而是来自精确判断：哪些误差可以接受，哪些复杂度必须隐藏，哪些地方必须绝对可靠。

---

一个更大的框架：AI 竞争正在从“性能战”变成“容错战”

如果把这两条线索合在一起，会发现一个更大的趋势：AI 的竞争正在从单纯的性能竞赛，转向容错能力的竞赛。

过去，人们问的是：谁的芯片更快，谁的模型更大，谁的参数更多。现在，真正厉害的系统问的是：

• 哪些部分可以更低精度而不崩？
• 哪些状态必须保留更高精度才能稳定？
• 哪些通信开销可以被架构隐藏？
• 哪些并行切分会成为不可接受的瓶颈？

也就是说，胜负越来越取决于谁能把不确定性关进更小的笼子里。最优秀的系统不是完全消灭不确定性，而是把不确定性隔离在不致命的地方。这是一种极其成熟的思维方式，和现代金融风控、航空安全、分布式数据库其实非常像。它们都不是追求每一处都零风险，而是追求风险的分层、隔离和可控。

这也是为什么未来的 AI 基础设施会越来越像“带有分级保护的复杂生命体”，而不是一台单纯追求峰值的机器。训练一套万亿参数模型，不只是把更多数据喂进更大的矩阵，而是在设计一个能持续承受噪声、拥塞、精度损失和编译复杂度的生态系统。只有当系统能承受这些现实约束，规模才真正能增长。

换句话说，规模化不是把问题放大，而是让系统在放大后仍然保持可控。

---

Key Takeaways

1. 不要把低精度当成全局默认。 先找出系统里最敏感的节点，例如嵌入、门控、归一化、注意力，再决定哪些地方必须保留高精度。

2. 优化前先做“脆弱性地图”。 问自己：系统里哪一部分一旦出错，后果会被放大最多？把资源优先投向这些关键路径，而不是平均分配。

3. 把扩展问题看成摩擦问题，而不是纯算力问题。 芯片多不等于能用好，真正的瓶颈常常在通信、切分、编译和路由。

4. 警惕“统一优化”的诱惑。 统一规则看起来简洁，但复杂系统需要差异化治理。该保守的地方保守，该激进的地方激进，往往才是最优解。

5. 衡量架构的标准，不只是峰值，而是鲁棒性。 问问看，在噪声、拥塞、数值误差存在时，系统还能否稳定工作，这比实验室里的最高速度更重要。

---

结语：未来的赢家，不是把每一层都推到极限的人

我们常常被一个幻觉误导，以为技术进步就是把所有指标同时推高。但真正有穿透力的系统，往往不是处处拉满，而是知道哪里该紧，哪里该松，哪里该保守，哪里该激进。混合精度训练告诉我们，精度不是越高越好，而是要放在对的地方。新一代硬件架构告诉我们，并行也不是越多越好，而是要把摩擦降到可控。

这两者合在一起，构成了 AI 时代最重要的一课：系统能力，来自对边界的理解，而不是对极限的盲目追逐。

未来真正决定胜负的，不是某个单点技术有多惊艳，而是谁更擅长在复杂系统里做减法，知道哪些误差可以容忍，哪些复杂性必须隐藏，哪些脆弱性必须被牢牢托住。看懂这一点，你就会发现，AI 竞争的核心从来不是“更大”，而是“更懂得把力量放在刀刃上”。