AI 服务器为什么更挑内存,HBM 之外还有啥
AI 服务器把内存推到了新高度。很多人只听说 HBM,其实 DDR 侧也在被重新要求,测试跟着变难。
带宽和容量两头压
大模型推理吃的是显存和带宽,训练吃的是容量。HBM 紧贴 GPU 封装,带宽拉满但贵且容量有限,海量参数和激活值还得靠板载 DDR 兜底。
所以 AI 服务器往往是 HBM 加一大排高速 DDR5,两者接力。DDR 侧不只是"够大",还要够快够稳,否则成瓶颈。
为什么更挑
一是速率要求高,DDR5 高频条在 AI 节点里是常态,信号完整性容错更小。二是满载时间长,7×24 压着跑,温度累积和 retention 问题比普通服务器更突出。
三是单价高、体量小,一根出错损失大,可靠性门槛被整体抬高。
测试的新难点
- 高速下的眼图余量比通用服务器更紧,测试机自身信号质量得过硬;
- 长满载下的温度曲线要扫,不能只测常温;
- 大容量条 retention 弱点是重点,保持时间测试加权;
- 纠错计数要持续监,临界件直接剔除别上集群。
AI 服务器挑内存,挑的是"快且久且稳"。对测试商,这把高带宽、高温和长期稳定三门功课同时推高,正好是宽温分级加自主算法能发挥的地方。