二手 DDR5 RDIMM 进 AI 实验室前,要先确认 ECC 真实纠错、高温稳定性、PPR 余量和外观工况,否则可能带病上岗。
把内存升到 85–95℃ 跑足够久,能在上线前把常温发现不了的隐性失效提前逼出来,避免训练中途崩盘。
边际测试通过拉偏 Vref、时序和电压量出内存的“余量”,能在常温 memtest 放过的前提下抓出高温下会崩的潜在坏条。
memtest 只能证伪“明显坏条”,筛不出温度裕量不足、纠错计数偏高的潜在隐患。本文说清内存测试该做到多深。
AI 机房清一色用带 ECC 的 RDIMM,不是习惯,而是 7×24、多卡并行下任何一位错都可能放大成整轮训练损失。
一张 AI 卡连续跑一个月,内存的温度、纠错计数和冗余资源都在悄悄变化。本文聊谁来验证这份“老化账”。
DDR5 的 ECS 会定期巡检纠错并向主机报数,PPR 能把坏行映射到冗余行。这两项 JEDEC 功能共同构成内存的“自我修复”。
SDC 是硬件在没报错的情况下悄悄改了数据,训练照跑、loss 看着正常,等发现时已损失大量算力,排查成本也极高。