你让机器人把桌上的杯子放进托盘。它不仅要听懂这句话，还要看清杯子在哪、算出机械臂怎么移动，并在抓歪后及时改计划。过去，这类零样本操作——没有针对当前任务再训练或看示范，直接上手——往往依赖闭源前沿模型。演示可以很亮眼，研究者却拿不到模型权重，难以继续训练，也很难把不同系统放在同一套条件下比较。
Yuxin Zuo 团队提出的 uni-robot-agent，想先补上一块更基础的拼图：为机器人使用智能体（Robot-use Agent，RUA）搭建统一、模块化的运行底座。RUA 不只生成文字，还要观察机器人状态、调用控制工具，并把判断变成现实动作。uni-robot-agent 则负责把模型、工具、执行反馈、模拟器和实体机器人接到共同接口上。它有点像一座通用测试台：发动机可以更换，但仪表、测试流程和结果格式尽量保持一致。
这项工作的意义不只在于跑出一个分数。它接入 Qwen、DeepSeek 等开放权重模型——研究者可以下载、运行并继续训练其参数——试图让机器人智能体研究摆脱“只能调用闭源 API”的限制。不过，本文数字均来自研究团队自己的实验，尚无独立复现。
先把模型和机器人之间的路修平
uni-robot-agent 统一了运动、感知、技能调用和任务控制工具。比如“把夹爪移动到目标姿态”，在模拟器和实体机器人上应表达同一件事；各环境的适配器再把这条通用指令翻译成本地控制命令。这样，新增机器人环境时，不必为每个工具重新写一套实现。不同环境产生的交互记录也更容易合并，供后续训练使用。
它把一次工具调用分成五层：智能体管理模型和上下文；编排层安排调用顺序；工具层提供通用操作；服务层管理感知、动作模型等资源；后端连接具体机器人、模拟器和模型。模块之间有明确接口，因此研究者可以单独更换模型、工具或机器人后端。
这套底座还处理了一些不显眼、却很容易让实体机器人出错的问题。图像、相机标定和机器人状态会绑定成不可修改的“快照”，避免机械臂已经移动，模型却拿旧画面配新位置。每条请求都有身份和执行记录，通信中断后不会贸然重做一次实体动作。移动工具会持续检查进展，抵达目标、动作停滞或触及执行上限时及时交还控制权。反馈也不只说“完成”，还会返回姿态误差、停止原因和结果图像，帮助模型判断该微调动作，还是彻底换一种抓法。
机器人动的时候，模型别干等
实体动作需要时间。如果模型每发出一条指令都等机械臂完全停下，再开始下一轮思考，整个过程会很慢。uni-robot-agent 允许推理和动作执行重叠：后台工具调用先返回一个任务句柄，模型可以继续做不依赖执行结果的分析；同一机械臂上的连续动作仍按提交顺序运行，读取已有图像等操作则可以并行。
团队在五项任务中比较了流水线与串行执行。流水线设置下，84.5% 至 93.8% 的实体执行时间与模型请求重叠；五项任务的总时长均有下降，降幅为 4.8% 至 73.7%。例如，swap_T 从 34.7 分钟缩短到 12.5 分钟。不过，每项任务、每种设置只运行一次，因此这些速度数字更适合看作系统案例，而不是稳定的平均收益。
不偷看模拟器答案，开放模型能做到什么？
RoboDojo 模拟评测包含 42 项任务，覆盖泛化、精细操作、长流程、记忆和开放词汇指令。实验只向智能体提供 RGB 图像、相机标定、机器人自身状态与描述，以及任务指令；不给模拟器里的真实深度、物体 CAD 模型、隐藏场景标注、任务判定器反馈或外部网络访问。这些被排除的信息属于 privileged inputs，即现实部署时通常拿不到的“后台答案”。
在三组随机种子、两种布局、共 252 个回合的设置下，开箱即用的 Qwen3.8-Flash-Next 配合 uni-robot-agent，成功率为 25.00%，RoboDojo Score 为 31.39。该分数把部分完成也计入，并缩放到 0—100。论文将它与 RoboDojo 团队已发布的 GPT-6 Astra–RoboProbe 结果比较：后者成功率为 22.48%，Score 为 28.97。Qwen 换用同文列出的其他底座时，最高 Score 为 21.01；这说明成绩不只取决于模型，模型与机器人如何连接同样重要。
但优势并不全面。Qwen 和 DeepSeek 在记忆、开放词汇任务上相对突出，在长流程任务上却落后于论文列出的 Xiaomi-Robotics-1 和 OpenWAM-。同一个 uni-robot-agent 接上 GPT-6 Astra 后，Score 达到 51.90，也说明更强的闭源模型仍能从这套底座获益。
在 19 项实体桌面操作任务中，Qwen3.8-Flash-Next 得分 53.50，高于零样本 Dream-1 的 43.50，也与每项任务使用 10 小时示范微调的方法得分 47.75 相近。不过这里不能直接理解为全面领先：RUA 使用了 Intel RealSense D405 相机提供的深度，而两个对照仅使用 RGB；论文也没有在正文中给出统计显著性。
真正的瓶颈，不只是“会不会控制机械臂”
团队比较不同模型家族、代际和规模，并检查失败轨迹，归纳出四种相关能力：一般视觉理解、空间定位、几何代码能力和具身推理。
前三项可以理解为“看对、指准、算清”。模型可能把倒扣的杯子看成正放，也可能在不同相机画面中点错同一个物体位置；它还可能写错坐标变换或混用旋转表示。具身推理则更接近“这个动作在物理上是否合理”，例如夹爪姿态看似对准物体，实际却根本抓不住。
较早的 Qwen 模型在 47.3% 至 81.8% 的已执行几何计算中出现错误；Qwen3.8-Flash、DeepSeek 和 GPT-5.6 Sol 对应比例分别为 8.2%、1.5% 和 0.7%。但这些是轨迹分析中的相关现象，不能证明四项能力就是机器人表现提升的唯一原因。论文据此主张，未来训练 RUA 时不应只拟合动作输出，而应联合培养视觉、空间、几何计算和具身推理。
为什么值得关注
开放权重并不等于训练数据和全部代码都开放，但至少让研究者有机会继续训练模型，并在模型层做缓存和效率优化。统一底座又让不同模型、机器人和环境共享工具语义与反馈格式。两者结合，才可能把一次闭源演示变成能复现、能比较、还能继续训练的研究路线。
成本差异也解释了这种开放路线的吸引力。按论文采用的参考 API 价格，Qwen 每回合约 1.09 美元，Score 为 31.39；Astra 每回合约 21.29 美元，Score 为 51.90。Qwen 更便宜，但达到同等任务进展需要更多 token 和时间。因此，这不是“开放模型已经取代闭源模型”，而是开放模型终于有了一套可以认真研究其训练、成本与能力边界的共同底座。
局限与未知
- 结果来自单篇论文及同一团队自报，尚缺独立复现。31.39 与已发布的 28.97 是否完全可比，仍取决于评测版本、采样设置和输入条件。
- 实体评测只有 19 项内部设计任务，且不同方法获得的传感输入并不相同，不能据此推出对真实机器人场景的普遍领先。
- 四项能力来自失败轨迹与基准相关性分析。它们为训练方向提供了线索，但还不是已经证实的因果机制。