AI 时代真正的分界线，不是算力，而是如何把算力拆开

当一块芯片开始学会“分工”，整座云就变了

如果一项 AI 系统设计的最高境界，不是把所有东西做得更强，而是把不同阶段交给最合适的机器，那么我们今天对“算力”的理解就需要改写。过去我们习惯问：哪颗 GPU 更快，哪种芯片更强，哪家厂商的 TOPS 更高。可在大模型时代，真正决定体验、成本和规模化能力的，越来越不是单点峰值，而是能否把不同类型的计算拆分、调度、匹配，并在 SLO 约束下稳定运行。

这件事听起来像工程细节，实际上却触及 AI 基础设施的核心哲学。因为大模型的计算并不统一，它天然是分裂的：有的阶段像冲刺，需要极强的瞬时算力；有的阶段像搬运，需要极高的内存带宽；有的工作负载追求吞吐，有的追求低延迟，有的要求在极端拥塞时仍然不崩。于是，“一刀切的通用算力”开始显得笨重，而“分离式架构”开始变得合理。

AI 基础设施的下一次跃迁，不是把单个计算单元做得更大，而是把系统拆得更聪明。

---

为什么大模型逼迫我们放弃“通吃型”计算

理解这个转变，最好的切口不是芯片，而是工作负载。一个大模型请求的生命周期，往往不是单一的矩形，而更像一条由不同密度组成的河流。前半段的 Prefill 更像在高速装配输入上下文，需要更强的计算能力来尽快把提示词变成内部表示；后半段的 Decoder 则像逐 token 生成，需要反复读取状态、访问缓存、做记忆密集型运算，瓶颈常常不再是峰值算力，而是带宽、缓存命中率和调度效率。

这就解释了为什么把 Prefill 和 Decoder 交给同一种资源池，往往会产生系统性浪费。为了服务 Prefill 需要堆很强的 GPU，结果 Decoder 阶段大量时间在等内存；为了照顾 Decoder 配置高带宽设备，Prefill 又会被拖慢。问题不在于某颗芯片不够好，而在于我们把两个本质不同的计算问题，硬塞进了同一种资源模型。

分离式架构的价值，正是承认这种差异。Prefill 用更强的 GPU，争取缓存复用和快速吸收上下文；Decoder 用更偏带宽型的 GPU，压榨 HBM，让 memory bound 的阶段尽可能高效。更重要的是，这种拆分不是纯粹的硬件分类，而是与 SLO 视角绑定的。系统目标不再只是“平均性能最高”，而是“在峰值压力下仍能稳定满足延迟和吞吐承诺”。这意味着调度要考虑优先级、过载保护、资源抢占和弹性回退，像机场调度航班一样，而不是像静态分配停车位。

这里有一个关键转变：AI 系统优化的对象，已经从单次计算，转向请求生命周期。只盯着单卡性能，无法解释为什么某些系统在高峰期表现突然崩塌；只盯着总吞吐，也无法解释为什么用户体验仍然糟糕。真正重要的是，系统能否在不同阶段把不同资源用在刀刃上。

---

从 GPU 到 CGRA 再到 RPP，芯片竞争的本质正在变形

如果说云端大模型逼迫我们把“计算”拆开，那么边缘 AI 和芯片架构的发展则告诉我们，不是所有“拆分”都靠更大更贵的 GPU 完成。在传统叙事里，AI 时代的主角似乎很清晰，英伟达和台积电组成的 NT 联盟像是新的产业中心，GPU 与先进制程成为训练和推理的双引擎。这种格局当然强大，但它也暴露出一个问题：当工作负载越来越碎片化时，通用 GPU 并不总是最经济的答案。

于是，另一条路径浮现出来：特定域专用架构与可重构计算。TPU 代表了一种极致的专用化，适合特定算子和数据流；NPU 则更多面向移动与边缘场景，在功耗和面积上做权衡；FPGA 提供可编程性，但位级重构的成本又太高，容易在面积和功耗上付出额外代价。到了 CGRA 和更进一步的 RPP，核心思路开始变得耐人寻味：不是把硬件做成固定电路，而是把硬件做成可在粗粒度上快速重组的“计算地形”。

这类架构的价值不在“万能”，而在“合适”。它们往往把 ALU、互联和片上存储设计成更贴近数据流的形式，让数据尽量在片上流动，而不是频繁往返外部存储。对于 AI 推理、边缘视觉、工业摄像、金融计算、机器人这类负载，瓶颈很多时候不是浮点峰值，而是数据搬运。于是，可重构阵列就像一座可以重新铺设轨道的工厂，今天跑语音，明天跑视觉，后天跑机器人控制，硬件不必每次都重造。

RPP 的一个特别有启发性的地方，在于它把这件事推进到了编程模型层面。传统 CGRA 常需要复杂的编译与时间安排，而 RPP 倾向于准静态重构和 SIMT 模型，甚至兼容 CUDA 生态。这个选择很重要，因为它说明架构创新不是“脱离软件”的艺术品，而是必须落到开发者能否用、编译器能否编、库能否复用的现实问题上。

最好的芯片，不是最神秘的芯片，而是最能把硬件优势翻译成软件生产力的芯片。

这里出现了一个有趣的统一：云端用分离式 GPU 调度把不同阶段拆开，边缘侧用可重构阵列把不同任务重组，本质上都是在回答同一个问题，如何让硬件不再假装所有计算都长得一样。

---

一个更深的框架：未来的算力竞争，不是“谁更强”，而是“谁更会分层”

要把这些线索真正接起来，需要一个比“异构计算”更深的框架。我更愿意把它称为 计算分层论。

这个框架认为，任何 AI 系统都至少有四层需要分开看：

1. 算法层，不同阶段的计算形态不同，比如 Prefill 和 Decoder。
2. 资源层，不同硬件的优势不同，比如高算力 GPU、带宽型 GPU、CGRA、NPU、FPGA。
3. 调度层，不同请求的优先级和 SLO 不同，必须考虑过载、抢占与弹性。
4. 软件栈层，硬件优势必须能被编译器、运行时和库稳定表达。

过去很多系统只优化第一层和第二层，结果在第三层和第四层翻车。比如，硬件很强，但调度不懂请求差异，系统还是会拥堵；芯片性能很好，但软件栈太难用，落地效率很低。真正成熟的架构，不是某一层耀眼，而是四层之间的分工足够清楚。

这个框架还能解释为什么“粗粒度可重构”会在边缘 AI 里显得特别有吸引力。边缘场景本来就天然分层：摄像头侧可能需要实时识别，网关侧可能需要批量聚合，服务器侧可能需要更大模型推理。此时，固定 ASIC 太僵硬，纯 GPU 又太贵，能够以相对接近 ASIC 的能效，同时保有一定可编程性的架构，恰好落在甜蜜点上。它像一把可换头的工具，而不是一整套重型机床。

更有意思的是，这种分层思维反过来也在重塑云端。Mooncake 类的分离式架构，其实不是“边缘逻辑”侵入云端，而是云端自己开始承认：不是所有 token 都该走同一条路，不是所有阶段都该用同样的资源。当系统足够大时，统一反而成为低效的代名词。

---

真正的稀缺资源，不是芯片，而是“正确拆分”的能力

如果把视角再往上抬，会发现今天的 AI 基建竞争，表面上是芯片之争，实质上是拆分能力之争。谁能把一个复杂任务拆成可调度的阶段，谁能为每个阶段匹配最合适的算力，谁能在高峰压力下维持稳定 SLO，谁就能在成本、体验和扩展性上同时占优。

这听起来像一个抽象判断，但它其实有非常具体的现实含义。

例如，企业在部署大模型时，最常见的错误不是买错芯片，而是把所有请求当成同一种请求，结果让高价值流量和低价值流量争抢同一池资源。又比如，很多边缘 AI 项目失败，并不是模型不准，而是芯片太“通用”，导致功耗、散热和成本无法满足场景要求。再比如，芯片厂商最容易陷入的陷阱，是只证明自己能跑，却没证明自己能被集成、被调度、被规模化使用。

从这个角度看，未来的赢家往往具备三种能力：

• 能拆：把工作负载拆成不同阶段，识别瓶颈究竟是算力还是带宽。
• 能配：把不同硬件与不同阶段精准匹配，而不是用同一套资源硬扛全部任务。
• 能管：在拥塞、过载和优先级冲突下，依然能保证 SLO。

这三种能力看上去像系统工程，实际上已经是新的竞争壁垒。因为硬件代际的差距会缩小，但组织资源的能力很难被迅速复制。

---

Key Takeaways

1. 不要再把 AI 负载看成单一计算。先区分 Prefill、Decoder、缓存访问、吞吐压力和延迟压力，再谈硬件选型。
2. 优先按阶段匹配资源，而不是按峰值堆资源。高算力和高带宽不是同一个优化目标，混用往往导致浪费。
3. 把 SLO 放在调度前面。真正重要的不是平均性能，而是高峰期和过载时是否还能稳住体验。
4. 关注软件栈是否能表达硬件优势。再强的架构，如果编译器、运行时和生态不成熟，也很难大规模落地。
5. 在边缘场景里优先考虑可重构与粗粒度并行。当任务多样、功耗敏感、空间受限时，适度专用化往往比盲目通用更有优势。

---

结语：AI 时代的进步，不是把机器做成“全能”，而是把系统做成“会分工”

我们过去迷恋的是单点性能，像在比较谁举重更强。可 AI 时代真正重要的，越来越像一支交响乐团：小提琴、铜管、打击乐都重要，但它们从来不应该拉同一段旋律。大模型、边缘推理、可重构芯片、分离式调度，看似来自不同层次，其实共同指向同一个未来：最先进的计算系统，不是每个部件都更像英雄，而是每个部件都更像合适的角色。

所以问题不该再是“哪一种算力会赢”，而该是：谁最先学会把算力拆开，并且把拆开的部分组织成一个更稳、更快、更经济的整体。在 AI 时代，这可能才是真正的技术分水岭。