AI 工厂式机房:一柜即一机

AI 工厂式机房:一柜即一机

从单机到整柜

NVIDIA GB200 NVL72 把 36 颗 Grace CPU 和 72 颗 Blackwell GPU 封进一个机架,通过第九代 NVLink 构成统一域,整机 13.4 TB HBM3e、576 TB/s 聚合带宽、130 TB/s NVLink 互联。Azure 的实测里,单柜跑 Llama 2 70B 达到约 86.5 万 token/s,是同代 H100 机柜的 9 倍。

调度单位变了

在 AI 工厂里,调度的最小单位不再是单卡甚至单节点,而是整柜。运维关心的也从「这张卡利用率」变成「这柜电、这柜带宽、这柜内存是否被打满」。Grace CPU 一侧挂的是 LPDDR5X,而传统 x86 前置节点、调度与管理面仍大量使用 DDR5 RDIMM。

机柜级内存与供电

机架级液冷把功耗密度推高,供电和散热余量被压缩。与之配套的管理服务器、存储节点和交换控制面,用的还是标准 DDR5 RDIMM,单条到 256 GB、6400 MT/s。这些看似不起眼的模块,一旦在机柜高温环境里掉链子,整柜调度就会抖。

AI 工厂的可靠性,最后落在每一根内存条能否在机柜高温、长期满载下稳住。HeroTEST 提供模块级 DDR5 RDIMM 宽温测试与可信分级,用真实工况数据验证模块表现,而不只是看出厂标称。要搭机柜级集群,欢迎和我们确认内存验证方案。

相关阅读