一辆自动驾驶车仍说着同一套安全理由,规划出的路线却可能已经撞向障碍物。Feng 等人研究的正是这种反直觉风险:视觉-语言-动作模型(VLA——看画面、听指令并生成机器人动作的模型)给出的理由文本可以一字不变,底层连续动作却发生偏移。换句话说,机器人“说得对”,不等于它真的“做得对”。
作者提出 TNAS(文本中性的动作子空间)诊断:在文字与动作共用的模型内部表示中,找出对动作敏感、却尽量不影响文字输出的方向,再用细小的视觉扰动推动模型沿该方向变化。论文在自动驾驶模型 Alpamayo 和机械操作模型 InstructVLA 上都观察到文本—动作分歧;其中,Alpamayo 可在理由逐字相同的情况下产生原本没有的新碰撞。论文由此指出,只检查模型的自然语言解释不足以证明安全,监控系统还需直接核验预测的动作通道。供稿原文中的多项具体比例未完整显示,因此此处不引用数值。