算力租赁还是自建,账怎么算

算力租赁还是自建,账怎么算

租赁的甜区和痛点

云上 H100 时租现在大概 2–3.5 美元,spot 更低。对试错期、波峰波谷大的团队,租赁灵活、不占现金流,是最省心的起点。痛点是长期高负载时,单位 token 成本会被时租持续吃掉,而且数据要出域。

自建的真实成本

一张 H100/H200 裸卡仍要 2.5–4 万美元,8 卡服务器 20–40 万美元起步。这还没算供电改造(1–5 万美元)、液冷或 HVAC(1.5–10 万美元)、网络与运维。有测算把 8 卡 H100 的真实持有成本算到 8–15 美元/小时,远高于裸租。

关键变量还是利用率。自建若能把利用率拉到 60% 以上,摊薄后单位成本可以低于租赁;若长期只有 20%,那就是为闲置硬件付全额账单。所以自建适合负载稳定、数据敏感、要长期持有的团队。

别漏掉内存这笔

无论租还是建,内存都是隐性大头。ECC、大容量 DDR5 RDIMM 单价不低,机柜铺满就是一笔不小的采购。更麻烦的是内存一旦不稳定,重算和宕机成本远超条子本身。

无论走租赁还是自建,生产稳不稳最后都看内存模块在满载高温下的真实可靠性。HeroTEST 提供模块级 DDR5 RDIMM 宽温测试与可信分级,用实测数据替你把关,避免把隐患带进集群。要评估一批内存,欢迎和我们对接。

相关阅读