拆机 DDR5 价格诱人但老化未知。讲清机房选用前必须做的健康度、高温与可信分级验证三关。
内存既是采购成本也是扩展瓶颈。从 TCO 与机架密度看 DDR5 容量如何左右集群效率与利用率。
batch size 翻倍，KV Cache 与激活也近翻倍。以 70B 为例讲清推理吞吐与显存占用的线性权衡。
全量微调显存与预训练同量级，LoRA 只训少量参数可省下大部分。对比微调与预训练的真实内存账。
70B 模型 32K 上下文 KV Cache 就要 40GB。长上下文与并发让显存随长度线性膨胀，反超权重。
INT8 把 70B 权重从 140GB 压到 70GB，INT4 再减半。量化省内存但精度与推理质量会掉，需要校准。
ZeRO-Offload 把优化器状态塞进 DDR5，代价是 PCIe 瓶颈。讲清什么场景值得用 DDR5 顶显存。
单机内存到顶就加节点。从 ZeRO 分片到跨节点聚合内存，讲清横向扩展的内存账与通信代价。
