AI 算力趋势与内存缓存知识索引
AI 算力趋势与内存缓存知识索引
过去两年，AI 机房里最明显的变化有两条：算力开销从训练侧往推理侧移，内存从「装数据的地方」变成「顶在前面的缓存」。这两条线交叉的地方，正好是服务器内存选型和验证最容易出问题的位置。
下面这份索引把 HeroTEST 已发布的相关内容按主题串起来，方便按需查阅。
一、算力往哪走
推理占比上升之后机房配置要怎么改、Agent 和长上下文把开销推到了哪里、MoE 稀疏结构如何改变算力与内存的配比、每千 token 的成本由什么构成。这几篇解决的是「钱和资源花在哪」。
二、落地形态的变化
边缘侧起量、整柜当一台机器用、推理集群利用率上不去、RAG 上线后瓶颈转移、模型小型化成为主流、租赁与自建的取舍、国产算力平台的内存选型注意点。
三、内存当缓存这件事
KV Cache 为什么吃显存、怎么卸载到 DDR5、PagedAttention 的分页思路、前缀缓存的收益、显存/内存/SSD 三级怎么分工。这一组是本专题的核心。
四、系统级的内存新用法
CXL 池化与共享调度、推理集群的内存分层实践、1TB 以上大内存服务器的用法、DRAM 给 SSD 当缓存、内存数据库与向量索引、内存墙与近内存计算。
五、可靠性这一环
内存一旦承载热数据，边缘条（marginal module）就不再是小毛病，而是正确性问题。相关内容集中在可靠性门槛、静默数据损坏与边际测试几篇。
关于 HeroTEST
HeroTEST 做 DDR5 RDIMM 模组级宽温测试与可信分级，测试项与判级规则按 JEDEC 体系设计，也可按货源和使用场景定制方案。有具体批次要验，欢迎联系。