每一千 token 的成本由什么构成
每一千 token 的成本由什么构成
先从一个公式看起
自托管推理的单位成本很朴素：每小时 GPU 成本，除以每小时生成的 token 数。难点在分母：吞吐量取决于模型大小、量化、批大小和框架。一个 H100 在 2 美元/小时跑 Llama 2 70B，若做到 50 token/s，约 0.011 美元/千输出 token；把批大小拉高到 120 token/s，成本直接降 2.4 倍，硬件没变。
成本单里的几块
有研究把 H200 跑 70B FP8、批 64、4K 上下文的成本拆开：GPU 折旧占 35%，GPU 功耗 28%，制冷等设施开销 10%，网络 6%，人力与软件 13%。也就是说，数据搬移（功耗加制冷）就吃掉 38%，和显存带宽、散热强相关。
另一个容易被忽略的点：输出 token 比输入贵 3–5 倍，因为输入可高度并行，输出是严格串行的自回归生成，每一步都要读一遍权重。长上下文还会让 KV Cache 成本非线性膨胀，128K 上下文的单位成本可能是 4K 的 8–10 倍。
利用率是那根杠杆
同样的硬件，利用率从 10% 拉到 80%，等效算力翻倍，单位 token 成本可以降一个数量级。而高利用率依赖稳定供给，内存一出错就触发重算或宕机，利用率立刻跳水。
所以每千 token 成本最后还是落在内存可靠性上。HeroTEST 提供模块级 DDR5 RDIMM 宽温测试与可信分级，用真实工况数据确认模块在满载高温下不丢数据，从源头保住你的利用率。想算清这笔账，欢迎和我们聊。