内存带宽墙：为什么 GPU 常常在等内存
内存带宽墙：为什么 GPU 常常在等内存
算力不是全部
以 NVIDIA H100 为例，其 FP16 张量核心算力约 990 TFLOPS，但板载 HBM3 显存带宽只有 3.35 TB/s。把两者相除，ridge point 约为 295 FLOPs/byte：只有算术强度高于这个值的算子才吃得满算力，而大量实际算子（激活函数、归一化、逐元素运算、KV cache 读取）都远低于此。
等数据的代价
Roofline 模型说得很直白：当 workload 是 memory-bound 时，能跑到的性能等于「算术强度 × 内存带宽」，跟峰值算力无关。一个 element-wise 加法，每读 12 字节只做 1 次浮点运算，在 H100 上实际算力利用率可能只有个位数百分比。
这也是为什么很多团队加 GPU 卡数、换更大模型，单卡效率却上不去：数据喂不过来，计算单元在空转。把带宽从 2.0 TB/s（A100 的 HBM2e）提到 3.35 TB/s，部分推理任务加速接近 1.5–2 倍，靠的就是少等一会儿。
CPU 侧的墙更厚
对比 CPU 服务器，顶配 12 通道 DDR5 大约 460 GB/s，常规配置常见 77–300 GB/s。HBM3 的单卡带宽约为 DDR5 整机带宽的 7 倍以上。对跑在 CPU 上的推理或大模型 CPU offload 场景，带宽墙比 GPU 侧更致命。
对于实际 AI 部署，真正要盯的不只是纸面算力，而是内存条在持续高负载与高温下的真实稳定性与分级表现。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，通过实测验证每根内存条的真实带宽与可靠性，欢迎工程师朋友与我们交流。