给机器人模型“瘦身”,不能只把数字粗暴地四舍五入。视觉-语言-动作模型(VLA)要同时看画面、听懂指令并决定动作;某处很小的压缩误差,传到机械臂末端,可能就变成抓偏。SACQ关注的正是超低比特量化——用极少位数保存参数——如何不破坏这条链路。
它采用码本量化:像用一盒有限色卡近似整幅图,只保存参数对应的“色号”。关键是,SACQ不把各层一视同仁,而是根据它们在注意力、信息传递和动作生成中的不同作用来拟合码本;分配位数时,也直接观察压缩某层会让最终动作误差增加多少。量化后,它还会重新分配码本索引,并用解码出的动作校准码本与缩放值。
作者报告,在GR00T N1.7上,语言与动作权重平均压到1.5比特后,SACQ在四组LIBERO测试中的平均成功率为93.85%,BF16基线为94.10%;常驻模型内存从5.677 GB降至1.175 GB,约缩小4.83倍。结果目前限于论文所用模型与基准。