模型量化省内存，但代价是什么
模型量化省内存，但代价是什么
每砍一位精度，省一半内存
权重占推理显存的大头。Llama-3-70B 在 FP16 下权重 140GB，INT8 砍到 70GB，INT4 再减半到约 35GB，单张 80GB 卡从装不下变轻松跑。精度每降一档，字节数减半，内存线性下降，这是最立竿见影的省内存手段，部署侧几乎都会先用它。
省出来的空间，代价是什么
量化不是无损。INT8 对多数任务几乎无感，INT4 在复杂推理、长文生成上开始掉点，需要 GPTQ/AWQ 这类校准把误差压住，否则质量会肉眼可见地下降。激活若仍用 FP16，省下的只是权重部分；端到端 INT8 才最省，但实现更复杂，还要框架支持，落地有门槛。
还有一层隐性代价：量化模型对内存的利用率更极限，单条模组要在更满的负载下跑，任何抖动都会被放大。所以量化省了空间，却对内存稳定性提出了更高要求，便宜的容量背后是更紧的容错余量。
- FP16：2 字节/参数，精度最好，最占内存
- INT8：1 字节/参数，常用业务首选
- INT4：0.5 字节/参数，极限压缩，需校准
选型时建议先拿业务样本做灰度：INT8 通常能直接上线，INT4 必须过一遍评测集确认不掉点再放量。别只看显存数字漂亮，真实任务的输出质量才是验收标准，否则省下的显存会在坏答案里加倍赔回去。
量化是性价比最高的省内存手段，但别把它当免费午餐：省下的 GB 要用可接受的精度损失去换，也要用更稳的内存去兜底，否则省下的显存会在长时运行里加倍讨回去。还有个落地细节：量化后的模型常配合分页或连续批处理一起用，否则省下的显存会被碎片吃掉一部分，实际能上的并发并没有账面那么好看。
量化省了内存，却让每条模组跑在更极限的利用率上，稳定性更关键。HeroTEST 提供模组级 DDR5 RDIMM 宽温测试与可信分级，用实测看清真实表现，量化部署选型时欢迎找我们。