CPU 内存和 GPU 显存，到底谁在干活
CPU 内存和 GPU 显存，到底谁在干活
计算在 GPU，搬运在 PCIe
矩阵乘在 H100 的 Tensor Core 上跑，HBM3 带宽 3.35 TB/s；而 CPU 内存 DDR5-6400 单通道只有 51.2 GB/s。两者差 60 倍以上，所以 GPU 怕的不是算不过来，而是数据供不上，喂不饱的计算单元再强也是闲置，等于花钱买了用不上的峰值。
CPU 内存干的是脏活累活：把原始数据解码、增强、batch 拼好，再经 PCIe Gen5（约 128 GB/s 双向）推给 GPU。一旦数据管线慢了或预处理卡住，昂贵的 H100 就在空等，利用率曲线直接掉下来，机时和电费却照常走。
谁也替不了谁
显存容量决定模型能不能装下，CPU 内存决定训练和推理的配套数据能不能铺开。offload 把优化器状态塞进 DDR5，是用大容量换显存空间，代价是 PCIe 搬运的延迟，本质是拿带宽换容量，只在该用时用才不会亏。
- GPU 显存（HBM3）：快但小，装模型热数据
- CPU 内存（DDR5）：慢但大，装数据与卸载状态
- NVMe：更慢，兜底超大模型的分层存储
一个直观对比：把模型权重从 DDR5 搬到 HBM 的这条路，带宽只有 HBM 内部的百分之一左右，所以任何依赖频繁来回的设计都会立刻现原形。评测机器时，别只报 GPU 算力，把这条搬运链路一并算进去才公平。
所以不是谁在干活的零和题，而是 GPU 算、CPU 内存供，两者节奏对齐才不卡脖子。评测一台 AI 服务器，不能只盯 GPU 算力，得把内存供给链路一起看，否则账面算力再高也是虚的。把这条链路想清楚，你就会发现很多所谓算力瓶颈，根子其实在内存供不上。这也是为什么线上排障第一步，往往先看内存带宽曲线而不是算力曲线。
GPU 算得再快，DDR5 供不上也是白搭。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，重点验证高负载与高温下的稳定表现，让你的内存池真正靠得住，欢迎联系我们。