数据中心内存实际坏多少:几组公开研究数据的对照
内存到底多容易坏,厂商规格书给的是理论值,真实答案在大规模部署的运维数据里。业界有若干基于数十万台服务器的研究,结论有几点相当一致。
结论一:错误的分布极不均匀
各项研究都发现,出现内存错误的机器只占总体的一小部分,而这一小部分机器贡献了绝大多数错误事件。有些机器一年报成千上万次可纠正错误,同批次的其他机器一次都没有。
这个分布形态说明主流不是随机软错误,而是特定机器上的硬缺陷持续发作。运维上的含义很明确:按机器为单位识别问题个体,比按整批评估失效率有用。
结论二:可纠正错误是有效的预警信号
研究普遍显示,出现过可纠正错误的 DIMM,后续发生不可纠正错误的概率比没出现过的高出一个量级以上。而且很多不可纠正错误发生前的几周到几个月里,同一位置已经在反复报可纠正错误。
所以把 CE 日志当成背景噪声忽略掉,是在浪费最有价值的预警窗口。合理做法是设阈值告警,对反复报错的地址做 PPR 修复或者安排更换。
结论三:温度和使用强度有影响,但不是唯一因素
温度升高会提高错误率,这一点符合预期。但研究也发现,同样温度下不同厂商、不同批次、不同容量配置的表现差异很大,有时厂商和批次的影响超过温度。
这提示采购环节的价值:批次一致性和来料筛选质量,对现场失效率的影响不比机房环境小。
结论四:年龄的影响不是简单线性
失效率随部署时间的变化并非一路上升。部分研究观察到早期有一个偏高的阶段,之后趋于平稳,运行数年后再度上升。这和浴盆曲线的形状吻合,也说明出厂筛选没有把早期失效完全拦住。
对采购和运维的几条实际做法
- 把 ECC 日志纳入常规监控,按 DIMM 位置聚合统计,不要只看总量;
- 为可纠正错误设定分级阈值,低频记录、高频告警、集中在单地址的优先处理;
- 新机上线后头一个月加密监控,早期失效集中在这段;
- 采购时要求批次信息可追溯,出问题能按批次收敛排查范围;
- 关键业务考虑更强的纠错方案,而不是单纯依赖标准 ECC。
对模组厂的启示
客户看的不是理论 MTBF,是他机房里那几万根条一年报多少错。能提供批次追溯、能给出筛选条件和实测裕量数据的供应商,在这类客户面前有明显优势。
反过来说,出厂只做常温点亮测试的产品,早期失效会原原本本地出现在客户的监控曲线上。那条曲线是藏不住的。