显存放热数据、内存放温数据、固态盘放冷数据，KV Cache 的三级存储把成本和延迟分层处理。Mooncake 与 LMCache 都已用真实生产负载验证了这条路确实可行，是推理系统里最值得投入的方向，值得认真规划。
多轮对话和固定系统提示词让前缀高度重复，前缀缓存命中即可跳过预填充。DeepSeek 实测把十二万八千 token 提示的首 token 延迟从十三秒降到零点五秒，成本砍掉九成，是推理降本最直接的杠杆之一。
vLLM 把操作系统的虚拟内存分页搬进 KV Cache 管理，碎片率从两三成压到百分之四以下、吞吐提升两到四倍。这套以块为单位的思路，对整个内存分层架构都有现实启发，对工程落地很有参考。
当显存放不下长上下文的 KV Cache 时，把溢出部分卸载到主机 DDR5 内存是成本最低的现实解法。带宽差距虽然明显，但批量化搬计算力在多数长上下文低并发场景里仍在可接受范围，值得在部署前仔细算一笔账。
用一个具体公式算清 KV Cache 的显存开销：每生成一个 token 都要缓存历史 Key 与 Value，长上下文下轻松吃掉几十 GB 显存，H100 的八十 GB 与 H200 的一百四十一 GB 往往都不够分，必须靠分层来缓解，这也是本文要拆解清楚的问题。
