高带宽内存（HBM）和 DDR5，各管一段
高带宽内存（HBM）和 DDR5，各管一段
HBM 贴着算力
HBM 通过 TSV 堆叠在封装里、用 1024-bit 总线直连 GPU/加速器，单 stack 带宽从 HBM2e 的约 256 GB/s 到 HBM3e 的约 1.18 TB/s。它离计算单元近、带宽极高、每 bit 能耗低，专门服务「算力密集、数据搬运频繁」的加速器。
DDR5 守着容量与性价比
DDR 类主存容量大、单价低、可插拔扩展，是 CPU 的常规内存，也是参数服务器、数据库、推理卸载和边缘设备的主力。单条 128GB 的 DDR5 RDIMM 已经量产，整机轻松上 TB 级容量，这是 HBM 在成本和容量上做不到的。
典型配合方式
在一台训练或推理服务器里，常见分层：HBM 当 GPU 的近-speed 缓存层，DDR5 当 CPU 主存和跨卡共享内存，必要时通过 NVLink、PCIe 在两者间搬数据。NVIDIA Grace Hopper 就是思路之一：GPU 配 HBM3，CPU（Grace）配大容量内存，中间用高带宽互联。
所以别把 HBM 和 DDR5 对立起来看，它们是不同层。对 DDR5 这一层来说，每根 RDIMM 的真实良率和温升表现决定了整机可靠性。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，帮您把这一层摸清，欢迎联系我们。
还有一个判断维度是容量墙：当模型或数据集大到 HBM 装不下，就得靠 CPU 主存甚至 NVMe 做层级扩展，这时 DDR5 的容量和带宽直接决定能不能跑、跑多快。很多「训练装不下」的抱怨，本质是 DDR5 这一层没规划够，而不是 GPU 不够快。