算力的真正瓶颈不是速度，而是被迫反复搬运数据

Jun 09, 2026

1 min read

4 views

84%

速度神话背后的真问题

如果一块芯片号称比 GPU 快 20 倍，你第一反应应该是什么？不是惊叹，而是追问：它快的是哪一层，代价又由谁承担。在 AI 推理这件事上，很多人把注意力放在峰值算力、TOPS、带宽，仿佛只要把数字继续抬高，系统就会自动变得更强。但真正决定一台推理机器是否有价值的，往往不是它在实验室里能跑多快，而是它在现实部署中是否能把数据留在更近的地方，让每一次计算都少走几步路。

这就是两种看似不同的技术线索真正相遇的地方。一个方向试图重写芯片内部的计算方式，把计算直接塞进内存里，让数据不必在 ALU、寄存器、缓存之间反复折返。另一个方向则在模型层面做同样的事，尽量减少推理时的 KV Cache 占用，让模型在有限显存里多记住一点上下文，多说几句话。表面上，一个是硬件创新，一个是模型优化。实际上，它们都在回答同一个问题：如何把“数据搬运成本”压到最低。

计算不是昂贵，搬运才昂贵

传统直觉总觉得，计算是最贵的。毕竟 AI 芯片看起来像一座巨大的工厂，越多核心、越高频率、越强张量计算，就越先进。但在现代推理系统里，真正吞噬性能和能效的，往往不是“算”本身，而是“取数”。每一次从片外 DRAM 把数据搬进芯片，再在不同计算单元之间辗转，消耗的时间和能量都可能远高于一次乘加。

这件事可以用一个很朴素的比喻来理解。假设你要做一桌菜。如果厨房里刀具、调料、锅都放在手边，你做菜会很快。可如果每切一片菜都要跑到楼下仓库去拿刀，再回到厨房，哪怕你的手速再快，整道菜也会被来回奔跑拖垮。AI 芯片的很多“性能问题”，本质上都是厨房布局问题。

PIM 之所以吸引人，不是因为它神秘，而是因为它直接改厨房布局。把一部分计算放进内存附近，意味着可以减少大规模寄存器和 ALU 的占地，把更多晶圆面积留给片上 SRAM。片上 SRAM 越多，越能把热点数据留在更近的位置，越少依赖昂贵而缓慢的片外 DRAM。于是，系统不只是“算得更快”，而是“少搬几次，整体就快了”。

这件事的关键在于：现代 AI 的瓶颈不是单点性能，而是数据驻留。谁能让工作数据更久地留在离计算更近的地方，谁就能在真实部署中获得更高的性价比。所谓“更快 20 倍”的故事，若脱离这个背景，很容易误解为纯粹的算力碾压；而一旦把视角切换到数据搬运，你会发现，真正值得追问的不是“它跑多快”，而是“它为什么需要搬得这么少”。

在 AI 推理里，最贵的不是思考本身，而是思考之前和之后的搬运。

模型层也在做同一件事：把记忆留住

有趣的是，这种“减少搬运”的逻辑并不只存在于芯片设计里，也深深嵌入了模型架构。多轮对话场景里，模型最怕的不是回答一条新问题，而是每回答一句都要把之前的所有上下文重新塞回显存，再重新计算一遍。于是，哪怕模型本身参数不算大，生成长度还是会被显存迅速吃掉。

Multi Query Attention 的意义，就在于减少推理时 KV Cache 的显存压力。再加上对话训练中的 Causal Mask 设计，连续轮次之间可以复用前面的 KV Cache，这意味着模型不必为每一次新 token 重新“翻阅整本书”。结果非常直接：在 6GB 显存的条件下，经过 INT4 量化，早期模型可能输出一千多字符就接近耗尽，而更优化的设计可以把可生成长度推到八千字符以上。这里的差异，不是“更会聊天”那么简单，而是让记忆的成本下降了一个数量级。

这背后传达的是一个极其重要的原则：推理性能不是纯计算问题，而是状态管理问题。一个语言模型一旦进入长上下文或多轮对话，就不再只是一个“算答案的机器”，它更像一个要持续维持工作记忆的系统。谁能更聪明地管理这份记忆，谁就能在同样的硬件上，服务更长的会话，承载更复杂的应用。

你可以把 KV Cache 想成会议记录。如果每次发言都要把整场会议重新录一遍，那效率一定极低。更好的办法是只保留关键决议和上下文索引，下次直接在这些基础上继续讨论。Multi Query Attention、缓存复用、量化，本质上都是在做这件事：把“记忆”从一次性负担变成可复用资产。

真正的竞争，不是谁最强，而是谁最会省

这里有一个常被忽略的商业真相。很多芯片或模型宣传时，容易强调峰值指标，因为峰值最容易讲故事。但客户买单时看的是另一组问题：每美元能买到多少有效 token，每瓦能支撑多少并发，每块卡能维持多长上下文，每台机器的部署复杂度有多高。换句话说，客户关心的不是“你能不能赢一场百米赛跑”，而是“你能不能在一个月的稳定运营中持续赢”。

这就是为什么“技术上更创新”并不自动等于“商业上更优”。PIM 架构很迷人，因为它从根子上改写了芯片面积的分配方式，让更多资源服务于片上数据驻留。但如果这种架构需要依赖某种理想化的性能模式，实际部署却无法稳定兑现，那么峰值优势就会在采购环节被折算、打折，甚至失去意义。推理系统的商业价值，最终要落在可持续吞吐、可预测延迟、实际成本三件事上。

这也解释了为什么模型层优化和芯片层创新其实并不冲突，它们恰恰是在不同层面解决同一类经济问题。芯片把“每次搬运的代价”降下来，模型把“每次需要搬运的次数”降下来。前者像是修路，后者像是减少出行。两者叠加时，系统成本才会真正断崖式下降。

如果只看其中一层，就容易得出偏颇结论。只看硬件的人会说，最重要的是把 SRAM 堆大，把内存访问变少。只看模型的人会说，最重要的是把注意力机制和缓存设计优化好，让上下文更省空间。其实更深的判断是：下一代推理系统的竞争，不是单点极限，而是跨层协同的极限。

最强的系统，不是某一层最激进，而是每一层都在替其他层省事。

一个新的理解框架：三种“搬运成本”

如果把这两条线索放在一起看，可以得到一个很实用的分析框架。评估任何推理系统时，不妨问自己三种成本：

1. 数据搬运成本

数据是否频繁在片外内存、片上缓存、计算单元之间移动？移动越多，延迟越高，能耗越大。PIM 的价值就在于减少这类搬运。

2. 状态搬运成本

模型在推理过程中，是否要不断重新编码、重新缓存、重新建立上下文？KV Cache 复用、Multi Query Attention、量化，都是在降低这类成本。

3. 组织搬运成本

系统是否需要为了一个不错的指标，引入过多复杂调度、特殊编译器、非标准部署方式？如果一项技术需要极强的前置适配才能兑现优势，那么它的真实成本就会上升。

这个框架有一个非常重要的启发：很多“更快”的技术，最后败在第三种成本上。实验室里的性能常常是干净的，客户现场却是混乱的。有真实流量、有长尾请求、有内存碎片、有兼容性问题、有工程团队的人力上限。任何把复杂性偷偷转移给用户的方案，都会在规模化阶段遭遇惩罚。

反过来说，真正有价值的创新，往往不是单纯增加某个指标，而是减少系统里“不得不来回折腾”的环节。硬件减少数据搬运，模型减少状态搬运，产品减少组织搬运。三者合一，才是可持续的推理性价比。

这对未来意味着什么

接下来几年，推理优化的竞争很可能不再围绕“谁的峰值最高”展开，而会围绕“谁能把上下文和权重放得更近，谁能把显存和带宽用得更像一种精密管理的预算”展开。大模型越往实用化走，越接近两个现实：一个是长上下文，一个是高并发。前者考验状态驻留，后者考验资源复用。于是，芯片设计和模型设计会越来越像同一门学问，只是层次不同。

这也意味着，未来的赢家未必是最炫酷的那一个，而是最懂得把昂贵动作变少的那一个。把计算留在内存附近，把缓存留在会话之间，把显存留给真正需要的 token。听起来像是工程细节，其实是商业哲学。因为所有规模化系统最终都会回到一个问题：你能否让每一次额外的增长，付出越来越少的额外成本。

真正值得敬畏的，不是某个芯片把 benchmark 刷得多高，也不是某个模型把聊天长度拉得多长，而是它们都在提醒我们同一件事。AI 的本质难题，也许从来不是“算得够不够快”，而是“能不能让知识、状态和计算尽量待在一起”。当距离缩短，性能才会变成现实；当搬运减少，智能才会变得经济。