一颗 GPU 该配多少内存？AI 训练机器的内存账
一颗 GPU 该配多少内存？AI 训练机器的内存账
先算一笔数据搬运的账
一张 H100 SXM 有 80GB HBM3 和 3.35 TB/s 带宽，可它每个 step 都要从 CPU 内存取训练数据、回写优化器状态或中间结果。PCIe Gen5 双向约 128 GB/s，听起来不慢，但相对 GPU 内部带宽仍是窄通道，数据得排队过桥，GPU 常常要等数据而不是等计算。
经验上，CPU 一侧的内存容量建议至少是单卡显存的 1.5 到 2 倍。8 卡机配 1TB 到 2TB DDR5 是常见区间，原因很直接：数据加载管线、模型副本、以及 offload 的优化器状态都要占这块地方，少一截就会在峰值批处理时翻车，前面算好的梯度还得等着写回。
配比看负载，不看拍脑袋
纯推理且模型全驻留显存的机器，512GB 内存可能就够；一旦开 ZeRO-Offload 或长上下文批处理，DDR5 池子会迅速吃紧，1TB 都不宽裕。多模态训练还要把图片、视频特征缓存在内存里，容量需求再上一层，这时候每卡配到 256GB 也不稀奇。
- 推理为主：每卡配 64-128GB 内存，总量 512GB-1TB
- 训练加 offload：每卡配 128-256GB，总量 1TB-2TB
- 预处理重的多模态：内存还要再往上加一截
一个容易踩的坑是只按显存定内存。有人看 80GB 显存就配 128GB 内存，结果一开优化器卸载，光状态就要上百 GB，整机立刻捉襟见肘。正确做法是先把训练或推理的完整内存账算一遍，再倒推 CPU 一侧该留多少。
所以一颗 GPU 配多少内存没有标准答案，但有一条底线：别让 CPU 内存成为比显存更早触及的天花板。先把模型规模、批次和上下文峰值算清，再回头定容量，比凭经验拍数字靠谱得多。
对 AI 部署而言，内存条标称能跑和连续跑三个月不出错是两回事。HeroTEST 做模组级 DDR5 RDIMM 的宽温测试与可信分级，用实测数据验证真实负载下的稳定性，有选型或验货需求可直接找我们。