NVLink / 总线 vs 内存带宽，别搞混
NVLink / 总线 vs 内存带宽，别搞混
三类带宽常被混为一谈
聊 AI 服务器经常听到三个「带宽」：内存带宽（HBM/DDR5 与计算单元之间）、卡间互联带宽（NVLink）、以及主机总线带宽（PCIe）。它们衡量的是不同的「路段」，瓶颈位置完全不一样。
具体数字摆出来
NVIDIA H100 的 HBM3 内存带宽是 3.35 TB/s；两张卡用 NVLink 4 桥接可达 900 GB/s 双向（约为 PCIe Gen5 x16 的 7 倍，后者双向约 128 GB/s）；8 卡经 NVSwitch 聚合带宽能到 7.2 TB/s 量级。注意单位：内存带宽和互联带宽数值接近，但服务的对象不同。
为什么会搞混
因为大模型分布式训练既吃内存带宽也吃互联带宽：前向、反向要反复读权重（内存墙），梯度同步要跨卡搬（互联墙）。只扩 NVLink 不提内存，或只堆 HBM 不提互联，都是半截话。排查卡顿时先定位是「卡内等数据」还是「跨卡等同步」。
PCIe 5.0 x16 约 128 GB/s，比 HBM 慢一个数量级，所以 CPU 内存到 GPU 的搬运本身是另一条窄路。无论哪段，底层内存条的稳定供货与真实分级都绕不开。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，欢迎需要验收内存层的朋友找我们。
顺带一提，互联带宽的「双向」和内存带宽的「单向」常被混着比，看着数字接近就以为对等，其实一个是卡间、一个是卡内，物理意义不同。读白皮书时盯紧单位是 GB/s 还是 TB/s、是双向还是单向，能少踩很多坑。