把 KV Cache 卸载到 DDR5 内存
把 KV Cache 卸载到 DDR5 内存
显存不够，内存顶上
H100 的 HBM 是八十 GB，带宽三点三五 TB/s；H200 提到一百四十一 GB、四点八 TB/s；B200 才到一百九十二 GB、八 TB/s。可七十 B 级别模型光权重就接近一百四十 GB，长上下文的缓存根本无处安放。主机 DDR5 RDIMM 单条就有十六到二百五十六 GB，八通道平台轻松凑出一 TB 以上容量，单价远低于 HBM，自然成了溢出缓存的第一落脚点，也避开了为缓存去抢昂贵的显存。
代价是带宽。一条 DDR5-6400 的 RDIMM 大约五十 GB/s，整机的八通道聚合也就几百 GB/s，比 HBM 的 TB/s 级差出一个数量级。但 KV Cache 的读取是批量的、可预测的，用 PCIe 5.0 的 x16 通道（单向约六十四 GB/s）在 GPU 和内存间搬运，对很多长上下文、低并发场景已经够用，不必为了缓存去加购昂贵的 HBM 卡，整体成本曲线友好得多。
什么时候值得做
vLLM 的 PagedAttention 已经把缓存切成固定块，LMCache 这类项目进一步把块按热度在显存、CPU 内存、磁盘之间搬移。收益最明显的是多轮对话、长系统提示词这类重复前缀多的场景：冷数据留在内存，热数据常驻显存，显存只服务真正在算的那部分，并发能力随之抬升，单卡能撑的上下文长度也更长。
这套思路成立的前提，是那一大片 DDR5 真的稳。缓存一旦落到不可靠的内存上，错误不会立刻报错，而是悄悄污染计算结果，而且会被反复读取放大成跨请求的错误，排查起来极费劲。尤其在多租户环境里，哪台机器峰值时能借到内存，直接决定了尾延迟稳不稳，分层不再只是可选项而是刚需。HeroTEST 做模块级 DDR5 RDIMM 宽温测试与可信分级，覆盖余量测试和高温老化，帮你在部署前看清真实稳定性，有需要可以和我们聊聊。