Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.010 — 2026-07-14
NEWS 约 1 分钟

量化新方法自称把KLD压低95%

Voodoo Quant逐张量分配精度,在两款小型Qwen3.5上自称将KLD压低95%,但仍待更多验证。

IMAGE — r/LocalLLaMA 日榜

给本地模型“瘦身”,有点像压缩照片:文件变小了,细节也可能丢失。量化就是用更少位数保存和计算模型参数,降低文件大小、显存占用和运行成本。Voodoo Quant试图把有限的精度用在更重要的地方,并称在Qwen3.5 0.8B和2B上,相比Unsloth Dynamic 2.0将KLD压低95%。KLD衡量量化模型与原模型输出分布的差异,通常越低,说明偏离越小。

它最具体的变化,是把精度分配细化到每个张量——也就是保存模型数字的多维数组;Unsloth Dynamic则按成组的张量块处理。作者还分别用Torch和llama.cpp两套计算结构测试:Voodoo Quant在两边都表现较好,而Unsloth方案在llama.cpp中较好、在Torch中明显变差。作者据此认为,后者可能对llama.cpp存在过度适配。不过,95%的亮眼数字目前来自作者自述,且材料只覆盖两款小型Qwen3.5;它能否推广到更多模型和实际任务,仍需验证。


供稿材料 SOURCES — 1

← 返回 2026-07-14 · 开源板块