像反复修改一份整段草稿:中间补出一个词,前后内容的理解也可能跟着变。扩散语言模型就是这样多轮补全文本。为了少做重复计算,它会复用 KV Cache——模型暂存的中间结果;再用量化把数字精度调低,还能进一步省内存。问题在于,双向注意力会同时参考前后位置,缓存尚未量化时就可能已经过时,传统自回归模型的量化办法因此不能直接照搬。
作者把误差拆成两层:复用旧缓存产生的误差,以及低精度保存带来的量化误差。其方案 dLLM-KVQ 先用 TRACE 从“问题—答案”数据重建逐步揭开被遮住词语的生成轨迹,再按层挑出对输出和注意力更重要的 K 缓存项保留高精度;V 缓存则照常低比特量化。作者报告,在 LLaDA 与 Dream、四项任务的 4-bit 和 2-bit、多种缓存设置中,该方法的平均成绩均为参评量化方案最高。核心提醒很朴素:压缩一份本就带偏差的缓存,不能只看压缩后像不像原缓存,还要看模型最后怎么作答。