内存墙与近内存计算的老问题
内存墙与近内存计算的老问题
墙一直在，只是换了形状
「内存墙」这个说法几十年前就有了：CPU、GPU 的算力每两年翻番，DRAM 带宽却只慢慢爬。到了 AI 时代，这面墙更高。HBM 用硅通孔把 DRAM 叠在芯片旁，把带宽顶到 H100 的三点三五 TB/s、B200 的八 TB/s，可容量被封装面积卡死；DDR5 容量管够，单条三十八到七十 GB/s 的带宽又追不上计算，二者各有硬伤，谁也替不了谁，工程师只能在中间做权衡。
于是有了两条路：一是近内存计算，把一部分算子挪到离数据近的地方，减少搬运；二是承认带宽是稀缺资源，用分层把热数据钉在最快的那层。后者正是「内存当缓存用」的底层动机，与其死磕带宽，不如让大多数访问命中近处，把峰值需求摊薄，让昂贵的算力不被搬运拖死。
缓存是绕墙的务实解法
把 KV Cache 卸到 DDR5、热块留 HBM，本质就是用缓存命中率去摊薄平均访问成本。它不消除内存墙，只是让墙的影响被局部性吃掉：只要热数据真的待在快层，平均带宽需求就远低于峰值，机器就能跑满算力，而不是卡在搬数据上干等，吞吐和成本都更好看。
这套打法有个隐含要求：缓存层不能比计算层更脆弱。墙本来就限制了吞吐，若内存还偶尔出错，局部性带来的收益会被纠错和重算吞掉，得不偿失，等于用可靠性换来的带宽又赔回去。换句话说，缓存是把内存墙换了一种形式呈现：墙还在，只是被局部性和分层挡在了大多数访问路径之外。HeroTEST 做模块级 DDR5 RDIMM 宽温测试与可信分级，含余量测试和高温老化，确保这片缓存不会成为新的瓶颈，欢迎联系我们评估。