静默数据损坏（silent corruption）为什么可怕
静默数据损坏（silent corruption）为什么可怕
它不是蓝屏，是“假装没事”
Silent Data Corruption 指硬件出错了，但系统没报错、没宕机，数据被悄悄改坏。和传统的内存报错不同，SDC 不会弹出 ECC 不可纠正告警，程序照常执行，结果却错了。这就是为什么它比明着坏一条内存更让人头疼。
训练里它怎么露馅
在 LLM 训练里，SDC 常表现为 loss 突然 NaN、梯度尖刺，或者更隐蔽的缓慢发散。Crusoe 的排障手册建议用单节点复跑对比 loss 曲线来区分 SDC 和软件 bug，因为普通的 dcgmi diag 通过也不代表没有 SDC。NVIDIA 的 DCGM 全量诊断一次要整个集群停机 4 小时以上，成本极高。
为什么内存 ECC 还不够
DRAM 的位翻转大多被 on-die 加 side-band ECC 兜住，但 GPU 计算单元里的指数位、符号位翻转会绕过 ECC 直接进结果。文献里往 GEMM 的 bf16 寄存器指数位注入翻转，能稳定复现 loss 暴涨和参数发散。硬件越接近物理极限，这类问题越需要被正视。
对内存侧来说，能做的就是压低漏过 ECC 的错误概率，并在负载下持续观察纠错计数。HeroTEST 对 DDR5 RDIMM 做模块级宽温测试与可信分级，用边际测试和高温老化把潜在的不稳定条筛出来，欢迎和我们聊聊你的集群规模。