内存容量不够，AI 任务会怎样（OOM 与换页代价）
内存容量不够，AI 任务会怎样（OOM 与换页代价）
先变慢，再崩溃
内存快不够时，系统不会立刻报错，而是把冷数据换页到 SSD。问题在速率差：DDR5 内存约 10 GB/s 量级，而 SSD 平均只有 100 MB/s 上下，差出两个数量级。一旦训练频繁换页，一个 step 从秒级拖到分钟级，GPU 利用率直接跳水，算力白白空转。
换页还会制造恶性循环：越慢越容易积压，积压越多越要换页。表面看任务还在跑，实际有效算力所剩无几，电费和机时却照常烧，是最隐蔽的浪费，运维往往要很久才发现根因在内存不够而非代码慢。
给内存留缓冲是常识
经验法则是显存和内存都预留 20%-30% 余量。KV Cache 和突发 batch 会吃掉这部分，长上下文尤其如此。与其事后用 NVMe 兜底，不如一开始把容量配够，因为换页救不了根本，只会把问题藏得更深。
内存彻底耗尽就是 OOM。深度学习框架遇到 OOM 往往直接中断整轮训练，已跑的数小时或数天前功尽弃，比慢更致命，而且常常发生在深夜批任务里，发现时已经白跑一轮，损失的是实打实的训练进度。
- 换页拖速：10 GB/s 内存 vs 0.1 GB/s SSD
- OOM 中断：整轮训练回退，成本最高
- 预留余量：负载峰值时才不翻车
一个反直觉的事实：省内存省到临界值，反而最贵。因为一旦触发换页或 OOM，浪费的机时远超买那几十条内存的钱。容量规划留点余量，本质是买保险，不是浪费。
内存不够的代价不是慢一点，而是要么慢到不经济，要么直接重来，所以容量规划要留足余量，别把每一 GB 都算进可用额度里。
内存不够的代价要么慢到不经济，要么直接重来，所以模组的真实可靠性比参数更重要。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，帮你在上架前筛掉隐患条，欢迎联系我们。