长上下文改写算力账单
长上下文改写算力账单
上下文变长，账单不是线性涨
GPT 类模型刚流行时，8K 上下文是常态。如今 128K 已是旗舰标配，1M 也开始出现。但上下文长度对成本的影响是非线性的：KV Cache 随序列长度线性增长，而它占的显存往往比模型权重更决定你能开多少并发。
算一笔 KV Cache 的账
以 Llama 2 70B（80 层、8 个 KV head、head_dim 128）为例，FP16 下每 token 的 KV Cache 约 2.5 MB。4K 上下文时单请求只要 5 GB，128K 时直接到 160 GB，已经超出单张 H200 的 141 GB HBM。也就是说，长上下文下你不是被算力卡住，而是被显存和带宽卡住。
vLLM 的 PagedAttention 把显存浪费从 60%–80% 压到 4% 以内，FP8 量化 KV Cache 再砍一半，但这些优化都有天花板。一旦并发和长度同时拉高，瓶颈还是会回到内存容量与带宽。
主机内存也要跟着长
GPU 侧吃紧时，工程上会把溢出页卸载到 CPU 内存或 NVMe。这就要求主机 DDR5 RDIMM 既要容量大又要带宽足，3DS RDIMM 单条 256 GB、6400 MT/s 的配置正适合这种场景。
无论你用分页、量化还是卸载来压长上下文成本，底层内存条在持续高温下的稳定性都不会变。HeroTEST 提供模块级 DDR5 RDIMM 宽温测试与可信分级，用真实负载数据验证模块会不会在长跑中出问题。准备上长上下文服务，欢迎来和我们确认内存选型。