Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.077 — 2026-09-19
PAPER H 25 约 1 分钟

三值LLM突破1.58比特下限

不再默认三种权重等概率,BITCOS让三值模型低于1.58比特成为可能。

把三种东西装箱,若默认它们一样常见,每件至少要约1.585比特;但如果其中一种占了一半,继续按“三等分”装箱,就浪费了空间。三值大模型也是如此:每个权重只取−1、0或+1,传统说法因此把存储下限定在1.58比特左右,实际按128个权重分组打包时还会因对齐升至1.625比特。

论文作者检查了29个三值LLM,发现不少模型的零值格外多,最高为CAT-Q Qwen3-1.7B的51.48%。他们据此提出BITCOS:先用一张位图标记每个位置是不是零,再只为非零权重保存正负号。这样平均成本等于“每个位置1个标记位,加上非零部分的符号位”。在上述模型中,权重符号本身降至1.485比特;计入16比特缩放因子的开销后则为1.610比特。29个模型里有26个比常用的五三值打包更省空间。换句话说,被突破的不是三种符号等概率时的数学结论,而是把真实权重误当成等概率后的存储账本。


供稿材料 SOURCES — 1
01
Breaking the 1.58-bit Barrier for Ternary LLMs arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-09-19 · 学术板块