一段倒水视频可以看得很顺,里面的杯子却可能悄悄变形,距离和深度也未必真实。人眼会放过这些小错,机械臂却需要准确的三维位置,还得保证关节够得到。GenVid2Robot解决的正是这道“从看起来合理,到实际能执行”的几何关。
它先从真实场景的首帧 RGB-D 图像中取一组语义锚点——物体上与任务相关的标记点,同时记录颜色与深度。系统再跟踪这些点在候选生成视频中的移动,并检查它们能否由同一个刚体运动解释:也就是物体移动时,形状和点间距离不能随意伸缩。通过检验的视频不会被直接照抄;系统只提取相对运动,再套到机械臂真实抓住物体时的工具中心点(TCP,即机械臂末端的控制基准)上,同时检查关节运动是否可行,并用有限的深度修正补偿传感器和标定误差。
关键变化是把生成视频从“示范答案”降级为“待验证的动作设想”。论文在 RM75 机械臂的倒水、揭盖、递工具和清扫任务上做了实机评估,作者称该框架提高了视频引导操作的可靠性;所给材料未披露具体成功率。