你让机器人看一段机械臂伸手的视频。画面里,机械臂向前,镜头也恰好向右移动。只靠前后画面猜动作,模型可能把两件事一起记成“伸手”:以后你让它伸手,它预测的却不只是手臂移动,背景也跟着漂。
这就是潜在动作模型容易遇到的麻烦。潜在动作模型(latent action model,LAM)用于处理没有控制指令的视频:它观察相邻画面的变化,从中猜出一个隐藏的“动作代号”。动作条件世界模型(action-conditioned world model,ACWM)再把这个代号当作控制信号,预测执行动作后的画面。它像机器人的内部模拟器,可以在真正行动前试演不同选择。
问题在于,两个变化一起出现,不等于一个造成另一个。背景位移、光照变化或未被触碰的物体,都可能与机械臂动作同时出现。模型若把这些相关性塞进动作代号,就会混淆什么是机器人能控制的,什么只是画面碰巧发生了变化。
Wei 等人在 arXiv 预印本中提出 CD-LAM,目标正是缓解这种动作无关的视觉偏差。论文标题使用了“causally debiased”,即“因果去偏”,但更稳妥的理解不是它已经证明消除了伪因果,而是它用三种训练约束,让潜在动作更聚焦于身体和物体的真实运动。
画面猜得准,不等于动作学得对
现有 LAM 通常依靠“重建目标”训练:给模型前后画面,要求它尽量还原目标画面。这个任务奖励的是“把画面猜准”,并不要求动作代号保持纯净。只要某种信息有助于重建,模型就可能把它记进去,包括背景延续、场景外观和类似镜头运动的变化。
这会产生一个隐蔽后果。世界模型生成的视频可以很像真的,甚至像素指标不错,却不听动作指挥。论文以 DreamDojo 为基线观察到:固定起始画面、把控制信号换成零动作后,生成结果仍可能继续运动;换入另一段视频的目标动作,模型也未必复现相应的运动。
作者因此不只检查画面是否逼真,还引入 FDCE(Foreground Displacement Chamfer Error,前景位移 Chamfer 误差)。它比较机械臂和被操作物体等前景区域的移动轨迹,数值越低,说明生成运动越接近指定动作。这个指标试图回答一个比“视频像不像”更直接的问题:机器人到底有没有照做。
三道约束,重新整理“动作代号”
CD-LAM没有更换世界模型架构,也没有改变潜在动作的维度和输入格式。它先用三个目标微调原有 LAM。
第一道是“以身体为中心的重建”。模型借助 SAM3 得到机械臂与相关物体的前景掩码——也就是标出重点区域的图层——训练时更重视这些区域,同时保留较低的背景权重。说白了,它仍要照顾整幅画面,但批改时给动作发生处更多分数。
第二道是“以动作为中心的对比学习”。作者把视频中的粗粒度动作动词聚成 12 类,例如拿取并放置、倾倒、打开和关闭。相同动作、不同场景的片段,其潜在表示应靠近;画面相似但动作不同的片段,则应分开。这些标签不是机器人可直接执行的控制指令,只用于整理潜在空间。
第三道是“潜在空间校准”。如果输入是两张完全相同的画面,合理的动作代号应接近“没有变化”;普通动作又不能全部挤成同一个点。CD-LAM一边给静止画面设定零变化参照,一边保留正常动作之间的差异。
训练分三步进行:先用无动作标签视频微调 LAM;再让 ACWM适应清理后的潜在动作;最后加入一个轻量映射层,把真实机器人指令接到这套潜在空间。前两步分别训练 1,000 和 2,000 次优化更新。
偏差变小,控制才真正改善
论文先直接检查动作表示。CD-LAM把重复画面产生的潜在响应中位数从 0.527 降到 0.043;对人工制造的镜头平移,响应缩小到原来的约 至 ;反映场景捷径的 leakage 指标从 0.151 降到 0.014。同时,来自不同视频但动作类别相同的样本,余弦相似度几乎不变,为 0.132 对 0.131。这一点很重要:结果不像是简单地把所有动作信号一起压小。
清理后的表示也传到了世界模型。在 300 段 EgoDex 留出视频上,以潜在动作为条件生成时,FDCE 在 2B 参数规模上从 34.00 降至 19.63,下降 42%;在 14B 上从 40.29 降至 29.87,下降 26%。基线从 2B 扩到 14B 后,FDCE反而由 34.00 升至 40.29。这说明模型更大,并不会自动学会服从动作。
接入真实机器人指令后,论文又在 AgiBot 的 300 段、且来自不同 episode 的视频上测试。FDCE均值在 2B 模型上从 12.63 降至 8.24,在 14B 上从 11.11 降至 7.73,分别改善 35% 和 30%。零动作测试尤其明显:残余 FDCE 在 2B 上由 10.71 降至 5.03,在 14B 上由 9.36 降至 2.18。也就是说,当指令要求不动时,模型预测的画面更能停下来。
效率结果同样值得看。在相同机器人动作数据、批量大小和优化设置下,14B CD-LAM约用 3,000 次更新追平 DreamDojo 的 FDCE参考水平,约用 4,000 次追平 PSNR,并在 6,000 次时同时超过后者的 50,000 次参考检查点。这里所谓“超过 12 倍更少更新”,比较的是优化更新次数,并不等于完整训练成本也降低了 12 倍。
为什么值得关注
这项工作的关键提醒很朴素:世界模型不仅要生成合理的未来,还要生成“由指定动作造成的未来”。如果动作代号里混着背景和镜头信息,规划器看到的只是好看的视频续写,不是可靠的内部模拟。
CD-LAM的实验也说明,控制问题不一定靠扩大模型解决。先把动作表示中的捷径清理掉,较短的后续适配就可能更有效。对依赖大量无标签人类视频预训练、再用少量机器人数据落地的路线,这是一项基础修补。
局限与未知
- 所有效果都来自同一篇预印本,尚无独立信源复现。训练还使用了 96 张 H100 GPU,以及基线没有使用的 SAM3 前景掩码和粗粒度动作标签。
- “因果去偏”主要通过训练目标和干预式评估体现。材料没有给出因果识别假设、可识别性证明,或证明偏差已经消除。
- 消融实验并非处处单向支持:移除零变化校准后,镜头平移响应从 0.133/0.101 恶化到 0.637/0.637,但该测试切分上的机器人 FDCE反而从 17.23 降至 16.10。作者据此强调,应同时检查上游偏差与下游动作指标,而不能只看一个总分。