KV Cache：大模型推理的“加速器”与“内存条”

您是否好奇，像ChatGPT、DeepSeek这样的大语言模型，为何能逐字生成回应，而不是一次性输出整段文字？实际上，在生成下一个字词前，模型需要重新审视并利用之前已生成的信息。这听起来似乎效率不高，对吧？

驱动大模型实现高效推理的关键技术之一，便是我们今天要探讨的主角——KV Cache，其中文含义为“键值缓存”。

一、优化思路的必然产物

KV Cache并非凭空出现，而是源于Transformer架构的内在特点与实际推理需求的冲突。

2017年，Google发布的里程碑式论文《Attention Is All You Need》提出了完全基于注意力机制的Transformer架构。在该架构中，每生成一个新词（token），模型就需通过“自注意力机制”回顾所有先前词语的信息，当前词需要“关联”并“关注”历史上的每一个词。

若无优化，生成第一个词计算一次注意力，生成第二个词需重新计算前两个词的注意力，生成第一百个词则需重算所有前九十九个词的注意力。计算量会随序列长度呈平方级增长，这构成了典型的“重复计算”困境。

核心洞察在于：在自回归生成过程中，历史词语的Key（键）和Value（值）向量是固定不变的，唯一需要的是当前新词的Query（查询）向量与历史Key的匹配。既然如此，为何不直接缓存已计算过的Key和Value，以便下次直接调用？

这便是KV Cache的核心思想，可概括为“以空间换取时间”。具体做法是，将每个token的Key和Value向量存储起来，生成下一个token时，只需计算新词的Q、K、V，然后用新Q与缓存中的所有历史K、V进行注意力运算。

在Transformer出现之前的时代，如ResNet等模型无需跨步骤保持状态，KV Cache的概念也就不存在。正是Transformer模型自回归生成的特性，使其成为现代大模型推理系统不可或缺的基石。

二、一个场景理解KV Cache的工作原理

不妨设想一位基金经理，他需要逐句阅读一份百页财务报告，每读一句，都要参照前面所有内容来理解当前句子。若未使用KV Cache，他的做法将是每读一句，就从头到尾重翻一遍前面所有内容。读到第八十页时，前面七十九页的内容已被重复翻阅数十次，工作量极其庞大。

若采用KV Cache，他的工作方式将变得更为高效。每读完一页，就在一张“草稿纸”上记录下本页的要点和核心信息，这张“草稿纸”便相当于显存中的KV缓存区域。当阅读下一页时，他只需关注当前页内容，并参考“草稿纸”上的历史要点，即可迅速做出判断，无需重新翻阅前文。

从技术角度看，未使用KV Cache时，注意力计算总量随序列长度呈O(n²)增长。使用KV Cache后，每一步只需为当前token计算新的K、V向量并加入缓存，然后将当前Q与缓存中的所有K进行矩阵向量乘法，计算复杂度降至O(n)。

其效果十分显著：实验数据显示，在16K长度的序列场景下，KV Cache可将计算量降低98%，推理延迟从320毫秒缩短至6毫秒。这意味着，同等GPU硬件下，启用KV Cache能支持更多并发用户，响应速度也大幅提升。这也是为何您现在使用大模型聊天时，回应能近乎实时地逐字呈现。

三、代价与影响：计算的节省与显存的压力

KV Cache并非没有成本。每一条缓存的数据量相当可观。以GPT-3为例，一个token的KV缓存约需4.5MB，2048长度的上下文就需要近10GB显存。这些缓存在线性累积，上下文越长、并发请求越多，GPU显存的消耗就越剧烈。这便导致了一个挑战：KV Cache节省了大量计算资源，却带来了新的“显存瓶颈”。

对于模型训练而言，KV Cache的应用场景极少。因为训练时，模型一次性处理完整序列，所有token的注意力计算可以并行进行，无需增量式缓存。它是一项专为推理优化的技术。

对于模型推理而言，KV Cache是性能的关键提升者。在“预填充阶段”，模型一次性计算输入提示词的所有K、V并进行缓存；进入“逐词生成阶段”后，每生成一个新token，只需追加少量新向量并复用历史缓存，从而实现高吞吐量和低延迟。正因如此，vLLM、SGLang、TensorRT-LLM等主流推理引擎的设计都围绕KV Cache的管理展开。

四、芯片与模型如何适应KV Cache

鉴于显存的紧张状况，业界已从硬件系统和模型设计两个层面着手进行针对性优化。

从硬件层面来看，GPU的高带宽显存是KV Cache的首选存储位置，速度最快但容量有限。当上下文长度超出时，仅依靠高带宽显存已不足够。因此，引入了三级缓存架构：第一级使用GPU显存存储热数据，第二级使用CPU内存存储温数据，第三级使用固态硬盘存储冷数据，并根据需要进行预取和淘汰。与此同时，FlashAttention技术利用GPU片上SRAM进行分块计算，大幅减少了对显存的反复读写，使KV Cache的访问效率提升2到4倍。NVIDIA也提出了ICMS概念，允许固态硬盘直接作为KV缓存的中间存储层，兼顾了容量和响应速度。

从模型层面来看，既然KV Cache的瓶颈在于“存储”，能否减少每个token需要缓存的数据量？由此诞生了一系列注意力机制的变体。MQA（多查询注意力）让所有Query头共享一组K、V头。GQA（分组查询注意力）则让多组Query共享K、V。这两种方法均能在几乎不损失精度的前提下，显著减少KV缓存的数据量。DeepSeek提出的MLA（多头潜在注意力）更进一步，将KV投影到低维潜在空间后再进行缓存，可将KV缓存压缩92%以上，而精度损失却不足1%。

最后是系统层面的创新。vLLM团队引入了PagedAttention技术，借鉴了操作系统“虚拟内存分页”的思想，将KV Cache划分为固定大小的页，按需分配，不要求连续存储，彻底消除了传统预留连续空间造成的碎片化浪费。这极大地提高了KV缓存的显存利用率，推理吞吐量可提升数倍甚至数十倍。

结语

KV Cache本质上是一种简洁而精妙的工程智慧。既然已计算的结果不会改变，那就将其存储起来重复利用，用显存空间来换取计算时间。它源于Transformer的自回归特性，并深刻影响着从芯片设计（多级缓存、显存与固态硬盘分层）、模型架构（MQA、GQA、MLA）到推理系统（PagedAttention）的各个环节。

对于所有从事AI应用开发的从业者而言，理解KV Cache具有切实的意义。无论是处理长文档、多轮对话，还是进行实时内容生成，KV Cache的管理策略都直接关系到响应延迟和系统吞吐量。在任何需要大模型推理的应用场景中，它往往是决定方案能否成功落地的关键因素。

下次当您看到大模型流畅地逐字输出回答时，不妨回想一下背后那张默默工作、从不休息的“草稿纸”，那便是KV Cache。