Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.125 — 2026-11-06
NEWS 2 信源 约 1 分钟

Qwen量化又打起精度战

同样给 Qwen 瘦身,Unsloth 拼编码成绩,GSQ-RCO 则主打接近原版精度。

IMAGE — r/LocalLLaMA 日榜

把大模型塞进个人电脑,像给旅行箱减重:文件越小越好,但不能把真正有用的能力也扔掉。围绕 Qwen3.8-Flash-Next,两套量化方案如今把竞争推向“同等体积,谁更少掉分”。量化就是用更低精度保存模型,以内存换取少量误差;GGUF 则是本地运行大模型常用的文件格式。

Unsloth 称,新版 Dynamic V3.1 GGUF 会按张量或层的重要程度分配不同精度,在体积相近时,DeepSWE、Terminal Bench、Aider Polyglot 等编码基准比 GSQ-RCO 高出 10% 至 15%。这些测试涵盖代码修复、终端操作和跨语言编程;团队称共跑了 262 亿 token,并多次重复部分测试,以应对基准波动。

GSQ-RCO 用户看重的却是另一组数字:其 IQ_3S 版本在 12 项基准的平均成绩达到 BF16 的 99.0%。BF16 是占用更多内存、通常更接近原始模型的 16 位格式。换句话说,一边强调相近体积下更强,一边强调已经逼近原版;但这些结论均来自相关发布帖,只适用于给定题集和设置,不能直接外推到所有实际项目。


供稿材料 SOURCES — 2

← 返回 2026-11-06 · 开源板块