给本地模型“瘦身”,有点像压缩照片:文件变小了,细节也可能丢失。量化就是用更少位数保存和计算模型参数,降低文件大小、显存占用和运行成本。Voodoo Quant试图把有限的精度用在更重要的地方,并称在Qwen3.5 0.8B和2B上,相比Unsloth Dynamic 2.0将KLD压低95%。KLD衡量量化模型与原模型输出分布的差异,通常越低,说明偏离越小。
它最具体的变化,是把精度分配细化到每个张量——也就是保存模型数字的多维数组;Unsloth Dynamic则按成组的张量块处理。作者还分别用Torch和llama.cpp两套计算结构测试:Voodoo Quant在两边都表现较好,而Unsloth方案在llama.cpp中较好、在Torch中明显变差。作者据此认为,后者可能对llama.cpp存在过度适配。不过,95%的亮眼数字目前来自作者自述,且材料只覆盖两款小型Qwen3.5;它能否推广到更多模型和实际任务,仍需验证。