随着大语言模型的飞速发展和智能体应用的普及，AI推理系统正面临着前所未有的算力与存储挑战。在Transformer架构中，KV Cache 作为存储历史计算状态的关键机制，对于提升推理性能、节省计算资源起着至关重要的作用。

然而，随着长上下文工作负载的激增，高昂的GPU显存成本正逐渐成为制约算力集群扩展的物理瓶颈。面对这一行业痛点，将庞大的 KV Cache 向更具性价比的外部存储介质进行卸载，已成为一种极具可行性的经济型解决方案。 本文将回归技术本源，剖析 KV Cache 在大模型推理中的运转机制，并结合大普微NVMe SSD，探讨如何为 AI 基础设施构建高性价比的存储方案。

01 KV Cache 在 AI 推理中的作用

大语言模型在生成内容时，依赖多头注意力机制的矩阵运算，而计算多头注意力的关键是计算 K 和 V 矩阵，这就是KV Cache 发挥作用的地方。在计算时，系统需高频处理 K与 V矩阵。若无缓存机制，模型每次均需对整个长文本序列进行全局重算；而引入 KV Cache 后，系统即可将已计算的历史 KV 矩阵数据进行存储与直接复用。