让机器人把剩菜收进冰箱,难点不只是记住“先开门、再放进去”。它还得判断容器是否装得下、冰箱有没有空位,以及移动途中会不会碰到别的东西。步骤一多,前面一次误判就可能让整套计划失效。APIVOT正是为此设计的:它让视觉语言模型(VLM——同时理解图像和文字的模型)边拆解任务,边检查现实空间是否允许。
它最巧的一点,是在语言推理之间插入“视觉思考”:模型想象某一步完成后的未来画面,再据此检查摆放和碰撞,像搬家具前先在脑中预演。模型还会自己判断何时需要看图推演;处理先后顺序时用语言,遇到空间约束时再切换到视觉。论文作者称,在KitchenWorlds长程厨房任务中,APIVOT平均任务成功率为41.9%,比表现最好的基线高8.1个百分点;随着几何约束变复杂,领先幅度从7个百分点扩大到17个百分点。这说明,先把计划写得合理还不够,机器人还需要在真正动手前确认它做得到。