想教机器人叠杯子,通常得先占用一台机器人,让人遥控它反复演示。机器贵、场地固定,数据量自然很难做大。AIRoA-0(简称 A-0)换了个办法:人双手各拿一只夹爪,像直接干活一样录下动作;真正的机器人直到测试时才出现。
这不是说机器人执行任务时“不看自己”。它仍通过两只手腕上的相机观察环境。准确的说法是:训练全程没有采集机器人数据。论文团队希望借此回答一个更现实的问题:能否把昂贵、受场地限制的机器人实机示范,换成许多人可以同时录制的手持示范?
按照论文报告,A-0 使用了 16,151 小时双手示范,在十项任务上的平均成功率为 78%。不过,目前证据全部来自团队论文及项目方评测,尚不能视为独立复现。
先把机器人的身体拿出教材
A-0 属于示范学习:先给机器人看许多“正确做法”,让它模仿,而不是逐条编写动作规则。它的数据由开源手持夹爪 YUBI 采集。操作者双手各持一只夹爪,用手指控制开合;系统记录两路腕部画面、夹爪运动轨迹和开合程度。采集时不需要机器人在场。
这批数据包含 16,151 小时双臂示范、1,065 万个子任务片段,覆盖一百多项任务。每段数据同时带有两层文字:一句描述完整任务,另一句说明眼下正在做哪一步。前者可以是“更换扫地机器人的零件”,后者则具体到“取下第一块旧拖布并放进盒子”。
难点在于跨本体:同一套动作知识要从人手里的设备,迁移到结构不同的机器人上。A-0 的关键处理,是不描述机械臂关节该转多少,也不依赖某个固定的机器人底座。它只描述夹爪相对当前位置应该去哪里,以及两只夹爪彼此处于什么关系。
可以把它理解成教人移动笔尖,而不是背诵肩膀、手肘和手腕各转几度。只要机器人也装上 YUBI 夹爪和相机,这套动作语言就仍然成立。论文称,相同权重可以运行在双臂 Franka、TX-G2、OpenArm 和一对 UR 工业机械臂上,无须为不同平台重新训练或调整。但这只证明了列出的几种配置,尚不足以证明它能适配任意机器人身体。
两只腕部相机,怎么记住做到哪一步
A-0 面对的是长程精细操作:任务有许多前后相依的步骤,同时要求小尺度动作准确。比如整理十余个小零件时,它不仅要判断零件属于哪个编号格,还要决定用哪只手拿、是否需要在双手之间交接。一步抓偏,后面整条流程都可能受影响。
偏偏它没有俯瞰全局的头部或场景相机,只有两只夹爪上的腕部相机。局部画面经常很相似,仅看眼前一帧,系统未必知道任务进行到了哪里。
A-0 用“阶段预测”处理这个问题。训练数据原本就标注了子任务,团队把连续子任务组成若干阶段,让模型在行动前先判断当前进度。预测结果还会做时间平滑:偶尔一次误判不会立刻让机器人跳到错误步骤,持续出现的新证据才会推动阶段切换。
它还保留最近十个本体状态,也就是夹爪近期的位置、姿态和开合等自身运动信息。这相当于让系统记得“两只手刚才做过什么”,避免只凭一张局部画面猜测。
少看一点,反而更容易换场地
腕部相机拍到的不只有目标物体,还有桌面、背景和房间。后面这些内容一换场地就会变化。A-0 因此加入“视觉证据预算”:模型不能平均依赖整张图,而要根据任务指令,自己学会把注意力集中在夹爪和正在操作的物体上。
训练不需要额外标注目标框或遮罩。动作是否预测准确,会反过来告诉模型哪些图像区域真正有用。论文展示的结果中,夹爪和操作对象得到更多权重,桌面与背景逐渐淡出。
这是它能够在陌生场地执行任务的核心思路之一。论文明确说,评测地点没有出现于任何训练示范中。但“陌生场地”仍是团队设定下的测试条件,不等于面对任意环境都能稳定工作。
78%意味着什么
团队在 Franka 平台上测试了十项双臂任务,每项进行 15 次试验,部分完成也可获得部分分数。任务包括折毛巾、叠杯子和橙子、整理零件、拉开笔袋拉链,以及为扫地机器人更换拖布和刷子。其中一些流程持续数分钟。
论文报告,A-0 的平均成功率为 78%。四个对照视觉—语言—动作模型——即同时读取图像与文字指令并输出动作的模型——平均成绩为 14% 至 27%,最强者是 π0.5 的 27%。这些模型都从公开预训练检查点出发,再使用与 A-0 相同的任务示范做后训练;团队还为它们搜索了多种动作长度、频率和训练步数,并报告各任务上的最佳设置。A-0 则十项任务共用一套训练方案。
分任务看,A-0 在颜色分类上达到 97%,燃料支架任务为 93%,耳塞任务只有 30%。这说明平均数背后仍有明显难度差异。六项任务的后训练示范量为 3 至 6 小时,杯子金字塔和耳塞任务则超过 10 小时。一次后训练按论文配置可在单节点 8 张 H200 GPU 上于四小时内完成;这不是普通硬件上的普遍成本承诺。
论文还展示了一次场景变化测试:机器人拿着绿色零件接近箱子时,人把箱子推开,随后又交换绿色和黄色箱子的位置。A-0 根据腕部画面连续修正轨迹,把零件放入移动后的绿色箱子。它没有接受过机器人受扰后的恢复数据,因此这个案例说明模型并非只会机械重放示范。不过,这仍是项目方提供的案例,不等于系统性抗干扰评测。
真正值得关注的是数据成本
A-0 最值得看的,不只是某项成功率,而是它试图改变机器人数据的生产方式。机器人示范的数据量受机器人数量限制;手持夹爪则可以交给更多人,在更多地点并行采集。论文的缩放实验也显示:从约 1,000 小时增加到 16,000 小时,预训练数据越多,后训练后的动作损失越低;在这一范围内,数据量每翻一倍,损失约下降 2.4%。损失是模型预测与示范动作之间的训练误差,并不直接等同于真实任务成功率,但至少表明更多手持数据没有迅速失去价值。
整套系统也围绕这条路线设计:用夹爪坐标统一人和机器人的动作,用两层语言记录完整任务与当前步骤,用阶段预测维持长流程,再用连续生成方式减少前后动作片段之间的接缝。说白了,它不是简单把人类录像塞给机器人,而是尽量消除“人手里的采集工具”和“机械臂末端执行器”之间的表示差异。
局限与未知
- 所有核心结果均由同一团队报告。78% 与 27% 的比较虽给出了每项 15 次试验和基线调参范围,但没有独立复现,也不宜据此断言 A-0 已普遍胜过其他路线。
- “跨本体”目前限于安装同款 YUBI 夹爪与相机的 Franka、TX-G2、OpenArm 和 UR。共同的末端工具正是迁移能够成立的重要条件。
- 团队称将开放完整数据集、预训练权重和后训练方案,并以“据我们所知”将其称为最大的开放手持夹爪示范数据集。论文中的发布声明仍需与实际可获取性、复现成本和第三方测试分开看。
A-0 还没有证明机器人数据可以被彻底淘汰。它更像是给出了一条有分量的新路线:先让人用便携工具大量生产操作教材,再让不同机械臂学习同一种“夹爪语言”。如果这条路线经得住独立复现,机器人学习里最昂贵的环节,可能不再必须由机器人亲自完成。