多机多卡训练，内存怎么横向扩展
多机多卡训练，内存怎么横向扩展
单机到顶，就加节点
单台 8 卡机的内存（含 CPU DDR5 池）总有上限。当模型大到单节点装不下，就横向加机器，用 InfiniBand 或以太网把多节点聚成一个更大的分布式内存与计算域。此时瓶颈从单卡显存变成节点间互联带宽，规划重点随之转移，买卡之前先想清楚网络。
加节点不是简单堆数量，通信开销会随节点数上升。如果互联带宽跟不上，多机带来的算力增益会被梯度同步吃掉一大半，所以扩展前要先算清网络和内存的匹配，否则加的机器越多越互相拖累。
分片是扩展的内存魔法
ZeRO 把参数、梯度、优化器状态切到 N 张卡，70B 模型全量训练在 8 卡上仍装不下，但 64 卡 ZeRO-3 每卡只需约 16B×16/64≈28GB。再加 CPU offload，能把优化器状态摊到各节点的大容量 DDR5 上，进一步突破单卡限制，让小显存也能碰大模型。
- 节点内：NVLink 900 GB/s，梯度同步快
- 节点间：InfiniBand 200-400 Gb/s，靠通信隐藏
- 跨节点内存：聚合后达 TB 级，喂得起超大模型
一个经验数字：当节点数从单机扩到数十台，通信占比会明显上升，内存分片带来的收益要扣掉这部分才真实。所以扩展时别只看总显存加起来够不够，要看互联能不能把分片的开销盖住。
横向扩展的本质，是把单机不够的内存通过分片和互联借过来，代价是通信开销要被计算掩盖。节点越多，对每条内存和每张网卡的稳定性要求越高，任何一条掉链子都会拖慢整轮同步。
多机扩展靠分片，也靠每条内存都稳。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，用实测验证集群里每条模组的真实表现，扩容或验货时欢迎找我们聊。