• AI 算力趋势与内存缓存知识索引

    HeroTEST 整理的 AI 算力应用趋势与内存缓存专题索引:涵盖训练转推理、长上下文、MoE、token 成本,以及 KV Cache 卸载、内存分层、CXL 池化与大内存服务器,方便按主题检索。

  • 内存当缓存用 可靠性门槛为何更高

    内存一旦承载被反复读写的缓存,单条模块的临界失效就从小事变成正确性问题。宽温测试与可信分级,是上机前绕不开的验证环节,也是规模上线前的必答题,不能心存侥幸。

  • 内存墙与近内存计算的老问题

    算力的增长远快于内存带宽,内存墙不是新词。把计算挪到数据旁边、或把内存当缓存用,都是绕开它的现实尝试与工程妥协,也是现阶段最务实的取舍,眼下没有银弹可言。

  • 内存数据库与向量索引的热数据

    Redis 与 Memcached 把热数据钉在内存里换延迟,向量索引同样依赖内存驻留。内存当缓存用时的可靠性门槛,在这些场景里早有工程共识,值得做内存的人借鉴,经验教训可以直接复用,别重蹈覆辙。

  • DRAM 给 SSD 当缓存的老办法新用

    固态盘早就用 DRAM 当缓存:控制器缓存、主机内存缓冲、写回缓存。这套存储侧的老办法,正被重新借用到人工智能的 KV Cache 分层里,如今在 AI 场景被重新激活,底层逻辑其实一脉相承,值得留意。

  • 1TB 以上大内存服务器能干什么

    单机能插到一 TB 甚至两 TB 的 DDR5 之后,大内存服务器不再是数据库专属。长上下文推理、向量检索和内存计算,都成了它的用武之地,正成为新的性价比选择,适合预算有限又想跑大模型的团队。

  • 推理集群里的内存分层怎么落地

    推理集群的内存分层不是简单堆容量,而是用调度把热缓存钉在快内存、冷数据沉到慢内存。落地的关键在可见性与策略,而非容量本身的大小,理解这一点对落地很关键。

  • CXL 内存池化:共享调度的新思路

    CXL 2.0 支持单级交换机下的内存池化,CXL 3.0 进一步做到多级交换与硬件一致的跨主机共享,让内存在集群里像存储一样被统一调度和灵活分配,正逐步走进生产环境,值得架构师关注。