把一张照片压缩得更小,通常会损失细节;大模型量化也类似——把参数从高精度数字改用更少的二进制位保存,能省资源,却可能因“取整”改变回答。过去,人们主要看量化后还能答对多少题。这项工作追问了更实际的问题:问题里多一个错字,模型是否仍能稳定作答?它自称有把握时,是否真的更可能答对?
作者评估了六种量化方法,覆盖 1B 至 70B 参数的模型以及 2、3、4、8-bit 位宽,并设计了 15 种字符级和词级扰动,模拟打字交流中的自然变化。研究用“模型总位数”统一衡量资源预算,即参数量乘以位宽。结果出现了一个关键分岔:普通准确率会随总位数增加而持续改善,可靠性却不是直线上升,而是在中等规模的 4-bit 模型上达到峰值。
换句话说,同样的存储预算,选更大的模型配更低位宽,和选较小模型配更高位宽,可靠性可能并不相同。作者据实验认为,4-bit 在不同任务、模型家族和量化方法中提供了较好的可靠性—效率平衡;这是一条经验缩放律,用于判断资源配置趋势,并不保证每个模型都精确符合。