AI 服务器为什么更挑内存,HBM 之外还有啥

AI 服务器把内存推到了新高度。很多人只听说 HBM,其实 DDR 侧也在被重新要求,测试跟着变难。

带宽和容量两头压

大模型推理吃的是显存和带宽,训练吃的是容量。HBM 紧贴 GPU 封装,带宽拉满但贵且容量有限,海量参数和激活值还得靠板载 DDR 兜底。

所以 AI 服务器往往是 HBM 加一大排高速 DDR5,两者接力。DDR 侧不只是"够大",还要够快够稳,否则成瓶颈。

为什么更挑

一是速率要求高,DDR5 高频条在 AI 节点里是常态,信号完整性容错更小。二是满载时间长,7×24 压着跑,温度累积和 retention 问题比普通服务器更突出。

三是单价高、体量小,一根出错损失大,可靠性门槛被整体抬高。

测试的新难点

  • 高速下的眼图余量比通用服务器更紧,测试机自身信号质量得过硬;
  • 长满载下的温度曲线要扫,不能只测常温;
  • 大容量条 retention 弱点是重点,保持时间测试加权;
  • 纠错计数要持续监,临界件直接剔除别上集群。

AI 服务器挑内存,挑的是"快且久且稳"。对测试商,这把高带宽、高温和长期稳定三门功课同时推高,正好是宽温分级加自主算法能发挥的地方。