很多推理集群 GPU 平均利用率只有 7%–30%，昂贵的卡大半时间在空转。本文从调度粒度、突发负载与内存供给三处，看利用率到底漏在了哪，以及内存供给为何是关键变量。
AI 工厂把一整柜当作一台机器来调度。GB200 NVL72 把 72 张 GPU 连成单一域，机柜级内存、供电与散热，都成了新的工程焦点与故障点。
边缘 AI 把算力从云端推到产线和现场。功耗、延迟和数据不出域，让推理硬件走向低功耗、小体积，连带着服务器内存的规格也得跟着变，宽温耐受要求反而更高。
每千 token 的成本不是玄学，它由 GPU 时租、显存、带宽、功耗和利用率共同决定。本文把这张成本单拆开，看清生产环境里每一分钱到底花在了哪。
MoE 让激活参数远小于总参数，算力与内存的配比被彻底改写。本文用 Mixtral、DeepSeek 的真实数字，说明这种配比背后的工程逻辑。
上下文从 8K 拉到 128K 甚至 1M，算力的账被彻底重写。KV Cache 随序列长度线性增长，显存与带宽成了真正决定成本的那道开关。
AI Agent 把一次问答拆成几十次推理请求，算力开销从模型本身扩散到编排、检索与状态保持。本文拆解一个 Agent 任务到底把钱花在了哪。
推理算力支出正逼近训练，机房不再只为大模型训练服务。本文从设备形态、内存带宽和能耗曲线三个角度，看推理时代的机房到底要怎么改配置，而不是简单堆 GPU。
