把三种东西装箱,若默认它们一样常见,每件至少要约1.585比特;但如果其中一种占了一半,继续按“三等分”装箱,就浪费了空间。三值大模型也是如此:每个权重只取−1、0或+1,传统说法因此把存储下限定在1.58比特左右,实际按128个权重分组打包时还会因对齐升至1.625比特。
论文作者检查了29个三值LLM,发现不少模型的零值格外多,最高为CAT-Q Qwen3-1.7B的51.48%。他们据此提出BITCOS:先用一张位图标记每个位置是不是零,再只为非零权重保存正负号。这样平均成本等于“每个位置1个标记位,加上非零部分的符号位”。在上述模型中,权重符号本身降至1.485比特;计入16比特缩放因子的开销后则为1.610比特。29个模型里有26个比常用的五三值打包更省空间。换句话说,被突破的不是三种符号等概率时的数学结论,而是把真实权重误当成等概率后的存储账本。