解释 DDR 预取倍率与突发长度的关系,以及为什么 AI 连续读取权重时预取能直接转化为有效带宽。
拆解 DDR5 用双 32-bit 子通道、32 个 bank 和更长突发来提升有效带宽的硬件机制。
对比训练和推理两种负载对内存带宽的真实需求,解释为什么推理反而常常更受带宽限制。
用 JEDEC DDR5 与 HBM3 的真实带宽数字量化两者差距,并说明各自适合的场景。
用 roofline 模型和真实算力、带宽数字解释,为什么训练大模型时 GPU 大量时间在等内存数据而不是做计算。
从 16GB 到 256GB 3DS RDIMM,一张表讲清不同容量对应的服务器场景、插槽规划与频率取舍。
模型能跑多大,常先被内存而非算力卡住。从显存墙与带宽讲清内存为何是 AI 的隐形天花板。
拆机 DDR5 价格诱人但老化未知。讲清机房选用前必须做的健康度、高温与可信分级验证三关。