想在显存不大的显卡上跑本地 AI,第一道门槛往往不是速度,而是模型能不能装进去。LFM3-1.7B——一个约有17亿个可调权重的语言模型——最新量化报告给出的结果是:将它压到占用3.6 GiB VRAM(显卡自带的高速内存)时,质量仍可保持无损;继续压到2.2 GiB,也只出现有限退化。这里的量化,就是用精度更低的数字保存模型权重,像把大文件压小,但可能损失能力。上述效果来自报告作者自述。
这组数字值得看,因为它把“省显存”和“掉质量”之间的取舍摆得很直观:3.6 GiB是报告所称的无损档,2.2 GiB则用少量退化换取更低门槛。报告用困惑度——模型预测文本时有多不确定的指标,通常越低越好——衡量压缩影响。不过,供稿没有披露各档位的具体困惑度数值,因此目前更适合把它看作一张容量路线图,而不是完整的能力证明。