KV Cache 三级存储：显存内存SSD
KV Cache 三级存储：显存内存SSD
各管一段，各付各的账
显存贵但快，固态盘便宜但慢（随机读通常几十微秒量级），DDR5 内存卡在中间。把 KV Cache 按热度拆到三级，是最自然的成本结构：热块留在 HBM 直接参与计算；温块卸到主机 DRAM，需要时再搬回；冷块写到本地 NVMe 或远端存储，命中率低但容量近乎无限，适合极长上下文的兜底，不至于为了冷数据占满内存。
这套结构不是纸上谈兵。LMCache 在 vLLM 之上建了显存、CPU 内存、本地磁盘、远端存储四层，用最近最少使用策略逐出，并把热块异步预取回来；Mooncake（Kimi 的推理平台，FAST 2025 最佳论文）用五百一十二 token 一块的粒度，把 CPU 内存和固态盘聚成跨节点缓存池，靠 RDMA（最高八乘四百 Gbps）在节点间搬 KV，真实负载下比旧方案多处理百分之七十五的请求，模拟长上下文场景吞吐提升最高达百分之五百二十五。
延迟账怎么算
显存到内存走 PCIe 5.0 的 x16 约六十四 GB/s 单向；内存到固态盘多出几十微秒的访问延迟。只要调度器知道哪块热、哪块冷，绝大多数请求都落在快的那层，偶尔冷 miss 的延迟可以接受。真正要避免的是块在层间频繁抖动，那比不分层还慢，需要像内存页回收一样有节制，并且对搬移频率做限流。
三级存储跑起来后，DDR5 上长期驻留的是被反复读写的温数据，单条模块的微小漂移都会被放大成跨请求的错误，而且错误来源分散难查。这种分层最怕热度判断失准：把本该在显存的块错放到固态盘，一次冷读就能把延迟拖垮，所以调度策略比容量更关键。HeroTEST 做模块级 DDR5 RDIMM 宽温测试与可信分级，覆盖余量测试和高温老化，用真实工况筛掉隐患模块，有兴趣可以联系我们。