AI 芯片的真正瓶颈不是算力，而是数据走了多远

真正决定一颗人工智能芯片上限的，可能不是计算单元有多强，而是计算单元之间能否以足够低的代价彼此靠近。

这听起来像封装工程师才需要关心的问题。但当模型推理进入大规模并行阶段，封装不再只是把几块硅片装进一个漂亮的外壳，内存也不再只是容量表上的一个数字。它们共同决定了一个更根本的问题：一台机器究竟能把多少信息，在多短的时间内，送到正确的计算单元旁边。

这正是先进封装与大模型推理架构之间最值得注意的交汇点。前者讨论互联的物理密度，后者讨论计算和数据的组织方式。表面上，一个属于封装，一个属于体系结构；实际上，它们都在回答同一个问题：当数据搬运比算术本身更昂贵时，系统应该如何重新安排距离？

从“算得多快”转向“数据走多远”

传统处理器的直觉是，性能主要来自更高频率、更多核心和更复杂的执行单元。但在大模型推理中，很多操作并不需要特别复杂的数学。矩阵乘法看似庞大，却往往可以被高度并行化。真正棘手的是权重、激活值和中间状态如何持续流动。

可以把一次推理想象成一座城市的配送系统。计算核心是餐馆，权重和激活值是食材，片上 SRAM 是厨房旁边的小冰箱，片外内存则像城市另一端的大仓库。增加餐馆数量当然可能提高总产能，但如果所有餐馆都必须频繁去远处取货，城市最终会被运输车辆而不是厨师占满。

这解释了为什么很多面向推理的架构，会围绕 mesh 众核组织计算，并尝试使用 3D DRAM 缓解 SRAM 太小的问题。它们并非单纯追求更多算力，而是在重新设计配送网络：让更多计算单元同时工作，让更大的数据存储空间尽量靠近计算发生的地方，并让数据沿着可预测的路径移动。

这里有一个容易被忽略的事实：内存容量、内存带宽和互联密度不是三个互相独立的指标。更大的内存只有在足够快地供给计算时才有价值，更高的带宽只有在互联可以承载时才有意义，而更密集的互联又会受到封装工艺、信号完整性、散热和良率的限制。

因此，一颗芯片的性能并不是简单的计算能力加上内存能力。更接近真实情况的表达是：

系统性能等于计算能力与数据可达性的较小者。

如果计算单元很强，但数据无法及时到达，那么多出来的计算能力只是闲置的餐馆。相反，如果存储和带宽极其充裕，但计算单元不足，数据也只能在仓库里排队。

封装不是容器，而是通信网络的地理学

讨论 chiplet 或 UCIe 时，人们很容易把注意力集中在接口规格上，例如协议是否开放、速率是否足够高、不同厂商的芯粒能否互操作。这些问题重要，但它们只描述了通信规则，尚未触及通信网络最残酷的约束：节点之间究竟相隔多远，每平方毫米能够布置多少条通道。

不同封装形式的差异，首先体现在 ball pitch，也就是互联焊点之间的间距。先进的 CoWoS 方案可以达到非常小的 pitch，而不同变体之间也会有明显差别。如果退回到更传统的基板级多芯片封装，间距还会进一步扩大。这个变化看起来只是几个数字的变化，实际上却会改变整个系统的拓扑结构。

把互联想象成城市道路会更直观。20 微米级别的互联密度，像是在大型交通枢纽内部铺设了极其密集的地铁网络，节点之间可以用大量短路径直接连接。更大的间距则像是从地铁退回到高速公路，通道数量减少，绕行增加，单位面积能够承载的通信量下降。到了更宽的间距，系统必须依靠更少的主干道传输更多数据，拥堵、等待和调度成本自然上升。

所以，接口标准并不能单独决定 chiplet 系统的表现。相同的协议，如果被放在不同封装层级上，实际可实现的互联密度、功耗和延迟可能完全不同。接口是语言，封装是地理；语言相同，不代表交通便利。

这也揭示了 chiplet 设计中的一个常见误区。人们常把芯粒拆分理解为模块化软件的硬件版本，仿佛只要定义好边界，就能像调用库一样自由组合。但芯粒不是抽象对象，它们拥有物理位置、功耗、热量和信号路径。一个在逻辑上合理的拆分，如果让大量数据跨越低密度互联，可能比单片设计更差。

模块化带来的收益，必须支付通信税。芯粒之间每增加一次数据往返，就可能增加延迟、能耗和带宽压力。若数据流量巨大，封装层级本身就会变成性能的一部分。

3D DRAM 的真正意义，不只是“更大的内存”

在这一背景下，3D DRAM 的价值不能只用容量解释。它更重要的作用，是把内存从一个远方仓库变成计算阵列附近的立体街区。

平面封装受限于二维面积。计算单元、缓存、内存控制器和外部连接都在争夺同一张平面地图。3D 集成则试图增加垂直方向的邻近关系。通过堆叠，系统可以在更短的物理距离内安排更多存储资源和更宽的数据通路。

但垂直堆叠并不等于免费扩容。它会引入新的热管理难题。计算单元产生热量，内存堆叠也需要稳定工作，越近的结构越容易共享热环境。垂直方向的连接还要面对制造复杂度、良率、测试和维修困难。换句话说，3D DRAM 将数据拉近了计算，却也把热和制造问题拉近了。

这产生了一个重要的设计张力：最适合数据流动的位置，未必是最容易散热和制造的位置。

高性能系统因此必须在三种距离之间做选择。第一种是空间距离，决定信号传播和互联密度。第二种是热距离，决定一个单元能否长期稳定工作。第三种是经济距离，决定这套设计是否具有可接受的成本和良率。

可以把它们称为芯片的“三重邻近性”：

1. 数据邻近性：数据是否靠近真正使用它的计算单元。
2. 热邻近性：高热单元是否会影响相邻存储和互联。
3. 制造邻近性：设计是否落在现有工艺和封装能力的可生产范围内。

优秀的架构不是把所有东西都尽可能堆近，而是在这三种邻近性之间找到平衡。例如，最频繁复用的权重适合放在靠近计算阵列的位置，访问规律较弱但容量较大的数据可以放在更远的层级。计算密集单元不一定应该全部压在内存正下方，否则局部热密度可能抵消带宽收益。

真正的瓶颈是“带宽密度”，而不是峰值带宽

芯片规格表通常喜欢展示总带宽，但对大模型推理而言，另一个指标可能更关键：每单位面积、每单位功耗能够提供多少有效带宽。

假设一套系统拥有很高的总带宽，但这部分带宽必须经过少数几个拥挤的接口，或者只有部分计算单元可以有效使用，那么峰值数字很难转化为实际吞吐量。反过来，一套总带宽较低的系统，如果能把数据均匀分布到大量计算单元附近，可能在真实工作负载下表现更好。

这和城市交通再次相似。总车道数并不等于通勤效率。道路是否分布在需求最强的区域，路口是否成为瓶颈，车辆能否直接到达目的地，都会决定最终体验。芯片中的互联 pitch、拓扑结构、缓存策略和任务映射，就对应着道路密度、路口设计和配送路线。

因此，评估推理芯片时，不能只问“有多少 TOPS”或“内存有多少 GB”，还要问：

1. 权重从存储层级移动到计算阵列时，经过了多少次中转？
2. 最拥挤的互联区域在哪里？
3. 有多少计算单元能同时获得足够的数据？
4. 单位面积的互联密度，是否与模型的数据流相匹配？
5. 热设计是否允许这些通道长期以高利用率运行？

这套问题清单把关注点从单一器件指标，转向了系统的“有效数据流率”。它也解释了为什么某些激进架构会选择固定数据流、显式调度或专门的片上网络。它们牺牲了一部分通用性，换取对数据路径的控制。因为当搬运成本占据主导地位时，灵活性本身也可能成为负担。

从硬件设计走向“距离感知”的软件

如果封装决定了哪些计算单元彼此接近，那么编译器和运行时系统就不能继续假设所有核心是等价的。未来的软件抽象需要认识到，计算资源具有空间层次。

一个模型中的不同层、不同头、不同专家模块，可能拥有不同的数据复用规律。它们不应该被随意分配到任意芯粒或任意核心，而应该根据权重共享、激活流向和通信频率进行放置。高频交换的数据应尽量留在同一封装区域内，低频通信才适合跨越更宽的互联边界。

这意味着，模型并行策略需要从“把任务平均分给所有核心”转向“让通信路径与任务关系匹配”。平均分配计算量并不等于均衡。如果某一组核心承担了大量跨区域通信，它们可能比计算量更高的核心更早成为瓶颈。

可以建立一个简单的设计原则：

先画数据流，再画计算阵列；先确定谁需要彼此靠近，再决定芯粒如何切分。

这与传统做法正好相反。传统硬件设计常从计算单元出发，再考虑内存和互联如何配合。面向大模型推理时，更有效的路径可能是从模型的数据移动图出发，识别最频繁的边，再把这些边映射到最密集、最短的物理连接上。

由此，封装规划、片上网络、内存层级和编译器调度不再是四个独立团队的局部优化问题，而是同一个“距离优化”问题的不同切面。

Key Takeaways

1. 不要只看接口协议，要同时看物理互联密度。 UCIe 或其他接口标准只能说明通信规则，封装工艺决定真正能铺设多少通道，以及这些通道能否服务目标数据流。

2. 把内存容量改写成数据可达性问题。 评估 3D DRAM 时，除了容量和峰值带宽，还要测量数据到达计算阵列的距离、路径、延迟和能耗。

3. 用带宽密度替代单纯峰值带宽。 关注每平方毫米、每瓦特以及每个计算区域能够获得的有效带宽，而不是只看整颗芯片的总数字。

4. 芯粒拆分必须服从通信模式。 如果两个模块之间存在高频、大规模数据交换，就应优先考虑让它们位于高密度互联区域，或者干脆避免将它们拆开。

5. 让软件具备距离意识。 编译器、运行时和模型并行策略需要知道不同核心、内存和芯粒之间的物理代价，不能再把所有计算资源视为均匀平面。

结语：下一代芯片设计的核心单位，可能是“距离”

过去，人们习惯用晶体管数量、核心数量和峰值算力描述芯片进步。未来，这些指标仍然重要，但它们会越来越像城市拥有多少工厂，而不是城市运行得有多高效。

真正决定系统表现的，是工厂、仓库、道路和能源网络如何被安排在一起。先进封装提供了缩短距离的可能，3D DRAM 提供了增加邻近存储的可能，mesh 众核提供了扩展并行计算的可能。但只有当三者与模型的数据流真正匹配时，这些可能才会转化成性能。

所以，AI 芯片的终极竞争未必是“谁拥有更多计算单元”，而是“谁能让更多计算单元在等待更少数据的情况下持续工作”。

当数据搬运成为主要成本，芯片设计就不再只是制造计算机器，而是在设计一座数据不会迷路的城市。

这也重新定义了封装的地位。封装不是芯片完成之后的包装，而是决定计算边界、内存层级和软件调度方式的第一性约束。谁能更准确地理解距离，谁就更可能设计出下一代真正高效的推理系统。