DDR5 带宽够 AI 用吗？和 HBM 差多少
DDR5 带宽够 AI 用吗？和 HBM 差多少
先看纸面数字
JEDEC 标准中，单条 DDR5 RDIMM 的带宽随速率档位变化：DDR5-4800 约 38.4 GB/s，DDR5-6400 约 51.2 GB/s，DDR5-8800 约 70.4 GB/s。哪怕堆到 12 通道，一台双路 CPU 服务器的总带宽也就 460 GB/s 上下。
HBM 在一个数量级之外
HBM3 单 stack 带宽约 819 GB/s，NVIDIA H100 用 5 个 stack 做到 3.35 TB/s；HBM3e 单 stack 约 1.18 TB/s，H200 用 6 个 stack 做到 4.8 TB/s，B200 更是 8 TB/s。单卡 HBM 带宽约为单条 DDR5 的 50–100 倍，约为整机 DDR5 的 7–17 倍。
差距来自架构：HBM 用 1024-bit 超宽总线堆叠在封装内，DDR5 仍是 64-bit（服务器加 ECC 后为 80-bit）走 DIMM 插槽和主板走线。宽总线加短距离，让 HBM 每 bit 能耗仅约 1.2 pJ，远低于 DDR 类内存。
所以 DDR5 不够吗
对 GPU 训练、大模型推理这种 bandwidth-hungry 负载，DDR5 确实喂不饱加速器，所以 GPU 才用 HBM。但 CPU 侧的主存、参数服务器、推理卸载、边缘小模型，DDR5 的带宽和容量成本比反而更合适。选型不是比谁快，而是看数据搬移密度。
不论用 HBM 还是 DDR5，落到具体采购时，每根内存条在温度与负载下的真实分级才是关键。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级服务，帮您用实测数据而非规格书来验收，欢迎联系我们详聊。