内存时延对推理延迟的影响
内存时延对推理延迟的影响
带宽管吞吐，时延管响应
带宽决定「每秒能生成多少 token」，时延决定「第一个 token 多久才来」。两者是不同维度：高带宽内存如果访问延迟也高，小批量、低并发、对尾延迟敏感的场景照样难受。
DDR5 的绝对时延
按 JEDEC 参数，DDR5-4800 的 CAS 延迟约 CL34，绝对时延约 14 ns 量级；各速率档位（4800–8800）的绝对时延都维持在 14 ns 上下，因为频率提高的同时 CL 周期数也在涨。也就是说 DDR5 世代「更快」主要体现在带宽，裸延迟并没有数量级改善。
另外，标称 CL 是颗粒在理想条件下的参数，真实系统还要叠加命令、地址总线的飞行时间以及训练余量，端到端读时延往往比纸面再高一些。比延迟时务必固定同一平台和方法，否则不同主板测出来的数字没有可比性。
时延在哪些地方咬人
推理里，prefill 阶段要把输入和权重搬进来，首 token 延迟直接受内存随机访问时延影响；边缘设备、实时风控、推荐系统这种要求个位数毫秒响应的负载，对随机访问时延比训练敏感得多。大模型 decode 以带宽为王，但 batch 很小或 KV cache 随机命中时，时延照样掺和。
选内存时别只盯 GB/s，也要看真实负载下的访问时延分布。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，可在近实际温度下测出时延与稳定性表现，欢迎工程师与我们沟通测试需求。