两名学生都考了 80 分,却可能答对了完全不同的题。量化模型也是如此:量化——把模型参数换成更低精度的数字,以节省存储和计算——前后准确率相同,并不代表模型保留了原来的判断方式。
Rababah 等人审计了从 8-bit 到 2-bit 的多种量化方案,并引入“正确性一致率”:逐题检查基础模型与量化模型是否同时答对,而不是只比较总分。作者报告称,中等程度的量化就可能带来行为分歧,即使准确率和困惑度仍显得稳定。困惑度衡量模型预测下一个词时有多不确定,但它是整体平均值,容易藏住单个输入上的变化。
论文还把量化后的内部权重逐层比较,发现低位数处会出现非线性的变化拐点;负责注意力机制中 query 和 key 的投影,通常比 value 和 output 更敏感。工程上的提醒很直接:榜单分数没掉,只能说明平均表现接近,不能据此断言输出分布乃至风险表现都没有改变。