AI 的速度不是算力，而是信息少走了多少路

真正决定大模型速度的，可能不是芯片上有多少算力，而是每一次计算之前，数据要跨过多少层距离。

一台 DGX A100 中，GPU 载板、NVSwitch、GPU 加速卡和 GPU 模组板合计使用约 0.624 平方米 PCB，单机对应 PCB 价值量约 12250 元。其中，搭载整个 GPU 平台的 UBB 约 0.30 平方米，需要 26 层通孔设计和 Ultra Low Loss 材料，单机价值量约 3000 元。

这些数字看起来属于硬件供应链，却和 KV 缓存、推测性解码、量化、稀疏激活等软件技术讨论着同一个问题：如何让信息更快、更近、更少地流动。

这揭示了一个常被忽视的事实：AI 系统的竞争，不是单纯比较谁拥有更多计算单元，而是比较谁能更有效地组织计算、内存、连接和不确定性。

从一块 PCB 到一个词元：性能的真正瓶颈是搬运

人们谈论 AI 芯片时，最容易被 TFLOPS、参数量和制程节点吸引。但模型运行时，计算单元很少是孤立工作的。它们需要不断读取权重，交换中间结果，访问缓存，并把数据送往下一层。

可以把计算想象成一座巨大的工厂。GPU 是工厂里的加工设备，HBM 是仓库，PCB、载板和 NVSwitch 则是道路、立交桥和传送带。即使加工设备极其强大，如果道路拥堵，原料无法及时抵达，工厂的总体产出仍然有限。

这正是高端 AI 服务器中 PCB 价值大幅上升的原因。多层板、低损耗材料和复杂互连，并不是“辅助部件”的堆料，而是在为高速信号提供一条尽可能稳定、短距离、低衰减的路径。UBB 之所以需要 26 层，并不只是因为它要承载更多元器件，更因为它要同时处理供电、信号完整性、散热布局和高速互联等多重约束。

模型推理也遵循同样的逻辑。以 GPT 类模型为例，KV 缓存的规模可以迅速膨胀。对于一个具有 96 层、96 个注意力头、每个头维度为 128 的模型，每个上下文词元需要保存约 2.4 百万个参数。按照 16 位精度计算，每个词元约消耗 5 MB。若上下文长度达到 2048 个词元，仅 KV 缓存就可能占用约 10 GB HBM。

这意味着，模型生成一句话时，系统并不是简单地“算出下一个词”。它还必须从庞大的缓存中读取与当前注意力相关的信息。上下文越长，问题越接近一个物流问题：如何在有限的内存带宽和连接能力下，把正确的数据及时送到计算单元旁边。

AI 的速度，越来越像交通系统的速度，而不是发动机的马力。

从这个角度看，硬件设计和推理优化并不是两个分离的世界。低损耗 PCB 减少信号在物理路径上的损失，KV 缓存减少重复计算，量化减少数据搬运量，推测性解码则试图减少必须经过完整验证的串行步骤。它们都在优化同一种资源：信息流动的成本。

自回归生成的悖论：最聪明的模型为何必须学会猜

大语言模型的生成方式存在一个结构性矛盾。模型一次只生成一个词元，而每个词元的生成都可能需要读取大量权重和缓存。即使 GPU 能够在极短时间内并行处理许多输入，输出阶段仍然常常被串行依赖限制。

这就像一支拥有一百名工人的施工队，每次却只能安装一块砖。工人并不是真的不够快，而是下一块砖必须等待上一块砖的位置确定。

推测性解码的关键，不是让大模型算得更快，而是把“提出候选”和“最终确认”分开。一个小模型先快速生成若干词元，大模型随后一次性验证这些候选。如果大部分猜测正确，就能用一次大模型计算替代多次逐词计算。

这个方法表面上是在利用批处理能力，深层上却是在改变系统的时间结构。传统解码把每一步都当作必须立即完成的任务，推测性解码则允许系统先进行低成本预测，再用高成本计算集中验收。

前向解码和 Jacobi 解码进一步把这种思路推进了一步。系统不必依赖一个独立的草稿模型，也可以对未来多个词元同时形成猜测，再反复验证猜测之间是否一致。最坏情况下，它退化为普通的贪婪解码，但在猜测稳定时，可以减少串行等待。

这里有一个值得推广的原则：当高性能硬件能够并行处理大量候选时，最优算法未必是避免错误，而可能是允许便宜的错误先发生。

这与传统软件工程的直觉不同。传统系统倾向于让每一步都尽可能准确，然后继续下一步。但在大模型推理中，严格按顺序、每一步都等待最终答案，反而可能浪费硬件的并行能力。更好的系统会把不确定性显式化，让便宜的预测承担探索，让昂贵的模型承担筛选。

这也解释了为什么推测性解码特别适合本地推理和计算资源充裕的场景。它不是无条件加速，而是用更多并行候选，换取更少的串行阻塞。系统必须判断三个变量：草稿模型或候选机制有多快，候选被接受的比例有多高，以及验证阶段能否充分利用批量计算。

因此，推测性解码不是一个孤立的技巧，而是一种延迟重构方法。它把总延迟从“许多次小而串行的等待”，重构为“少数几次大而并行的处理”。

量化和稀疏：减少的不是数字，而是必须经过的路

量化通常被理解为把 16 位权重压缩到 8 位、4 位甚至更低。这样的解释并不完整。量化的价值首先来自三个层面：更小的存储空间，更低的内存带宽压力，以及更高的缓存命中可能性。

如果一个模型使用较低位数后，模型参数可以更紧密地驻留在更快、更近的存储层中，那么它的优势并不只是“每次乘法更便宜”。更重要的是，数据不必频繁穿越更长的内存层级和互连路径。

因此，量化本身并没有神奇的固有优势。若两个模型采用相同位数、相同硬件路径和相同实现，理论上它们的吞吐和性能不会因为“量化”这个名称而自动改善。真正产生差异的，是某些高精度实现没有充分利用硬件，或者量化后让模型更容易放入更高效的内存和计算路径。

低比特量化在性能下降很小这一现象，也可以从信息分布角度理解。模型参数的重要性并不均匀。许多参数存在冗余，模型的有效能力集中在少数关键结构中。量化如果主要压缩了冗余部分，就像把仓库里的空包装压扁，而没有破坏真正有价值的货物。

这带来一个比“位数越低越好”更有用的判断框架：不要只问每个参数用了多少位，要问哪些参数值得保留精度，以及它们位于哪条数据路径上。

稀疏激活遵循类似原则。如果某个激活为零，系统理论上可以跳过对应权重的加载和计算。但这项优化在通用张量程序中并不总能实现，因为硬件喜欢规则、密集、可预测的矩阵运算。一个零值在数学上意味着无需计算，在工程上却未必意味着无需搬运。

这暴露出 AI 系统中的一个重要鸿沟：数学上的节省，只有转化为内存访问和调度上的节省，才会变成真实速度。

举例来说，假设一个矩阵中有一半元素为零。若硬件仍然把整块矩阵加载进来，只是在乘法阶段跳过一半操作，那么理论 FLOPS 减少了，内存带宽却没有明显改善，实际延迟可能几乎不变。只有当稀疏结构足够规则，软件能够提前识别并跳过对应权重的加载，稀疏才真正改变系统的物流成本。

这也是定制推理实现有时能够击败通用框架的原因。通用框架追求覆盖各种模型和硬件，往往依赖规则的密集计算。定制实现则可以围绕特定模型的激活模式、缓存布局和硬件内存层级，重新设计数据路径。

一个统一模型：AI 优化的四种距离

把这些技术放在一起，可以得到一个更普适的框架。AI 系统的性能，主要取决于四种距离是否足够短。

第一是物理距离。信号从芯片、载板、交换芯片到另一块加速卡，需要经过多长路径，承受多少损耗和延迟。多层 PCB、低损耗材料和高速互联，本质上是在缩短并稳定这条距离。

第二是内存距离。权重和 KV 缓存离计算单元有多近，是否能留在更快的缓存或 HBM 中。量化的价值，常常来自把更多数据放进更近的存储层。

第三是时间距离。当前词元必须等待多少前序步骤，多少计算可以被批量化。推测性解码通过提前猜测，把未来工作搬到当前时间窗口中，减少严格串行的等待。

第四是决策距离。系统为了做出一个最终输出，需要处理多少无效候选和冗余参数。稀疏激活、条件计算和更好的路由机制，试图只让真正相关的信息进入计算路径。

这四种距离相互制约。更低的量化位数可能减少内存距离，却增加精度恢复和算子适配的复杂度。更激进的稀疏性可能减少决策距离，却让调度和硬件利用率变差。更长的推测序列可能降低时间距离，却可能因为错误猜测增加验证成本。

所以，AI 优化不是寻找一个孤立的“最佳技巧”，而是寻找四种距离之间的平衡点。

真正高效的 AI 系统，不是让每个部件都更强，而是让信息更少绕路。

这个框架也能帮助企业判断基础设施投入。若推理瓶颈来自 KV 缓存和内存带宽，继续购买更高算力的 GPU 可能不如优化缓存布局、压缩精度或缩短数据路径。若瓶颈来自串行解码，增加参数量未必有效，推测性解码和批量验证可能带来更高收益。若瓶颈来自互联，单卡峰值性能再高，也可能被多卡通信拖住。

Key Takeaways

1. 评估 AI 硬件时，不要只看峰值算力。 同时测量内存带宽、互联延迟、缓存容量、信号路径和多卡通信效率。真正的吞吐往往由最拥堵的路径决定。

2. 把推理问题拆成计算、搬运和等待三部分。 如果 GPU 利用率不高，先确认是算力不足、权重读取过慢，还是串行生成造成的空闲，不要用同一种升级方案解决所有问题。

3. 量化要以数据路径为中心，而不只是以位数为中心。 关注模型能否因此进入更快的内存层，算子是否得到硬件支持，以及精度损失是否集中在关键层和关键通道。

4. 稀疏优化必须落到真实的内存访问上。 只有跳过了权重加载、调度和通信，稀疏才会形成可观测的端到端加速，而不仅仅是减少理论运算量。

5. 在计算资源充足时，主动利用可验证的不确定性。 小模型猜测、大模型批量确认，或通过多步候选生成减少串行等待，往往比强行优化单次矩阵乘法更有效。

AI 的下一阶段竞争，可能会越来越少地表现为“谁拥有更大的模型”，而越来越多地表现为“谁能让模型少走几步路”。一块价值数千元的多层 GPU 模组板，和一个看似纯软件的 KV 缓存优化，实际上都在回答同一个工程问题：如何把信息准确地送到该去的地方，并尽量不要重复搬运。

当我们再次看到更高的 FLOPS、更长的上下文窗口或更低的量化位数时，真正应该问的不是它增加了多少能力，而是它改变了哪一种距离。因为未来的 AI 性能，不会只由计算规模决定，而会由整个系统为信息铺设的道路决定。