你让机器人去园区找一家店,再回来告诉你路上哪里施工。难点不只是“会走路”:它要听懂目标、观察环境、调用导航能力,发现走错后改路,确认自己真的到达,还要把施工位置记下来。今天不少机器人模型擅长其中一环,但长时间把这些环节串起来,仍然容易中途迷失。
ABot 的两项工作试图补上这层连接。ABot-N1 负责把语言目标变成可执行的导航线索;ABot-AgentOS 则站在底层控制器之上,统筹规划、技能调用、结果核验和长期记忆。它不是电脑上管理文件和窗口的传统操作系统,更像机器人的“总调度室”。本刊此前介绍过 ABot-M0.5 如何统一底盘移动、机械臂操作与环境预测;这一次,ABot 的关注范围进一步延伸到导航、记忆、工具调用和长期任务运行。
需要先说明:两项工作的结果分别来自各自论文,尚无材料显示经过独立复现;它们评测的系统和指标也不同,不能把数字放在一起横向比较。
导航先指方向,再迈步
ABot-N1 面向视觉语言导航:机器人一边看摄像头画面,一边根据自然语言决定往哪里走。过去常见的做法,是让一个模型从观察直接输出动作。论文认为,这种“从看见到迈步一口气完成”的方式容易出现坐标漂移,也不善于处理少见而复杂的语义目标。
ABot-N1 把导航拆成慢、快两层。慢速视觉语言推理器负责理解任务和场景,并在当前图像上给出 pixel goal——也就是用一组像素位置标出“应该朝这里去”。快速动作专家再结合文字提示与这些视觉锚点,以控制器原本的频率持续生成路径点。
可以把它理解成副驾驶与司机的分工:副驾驶不直接转方向盘,而是在挡风玻璃上指出入口;司机根据这个明确目标连续操控。这样,高层判断不必处理每一次细小转向,底层控制也不必重新猜测整句话的意图。
这组 pixel goal 还是一个统一接口。论文称,它可以连接 point-goal(前往指定位置)、object-goal(找到某类物体)、POI-goal(抵达兴趣点)、按指令行走和跟随人员等任务。换句话说,任务表述可以变化,交给控制层的仍是一种统一的图像坐标语言。
据 ABot-N1 论文报告,系统把 POI arrival 提升了 35.0%,最终达到 77.3%;在复杂室内和室外场景中,成功率 SR 分别达到 95.4% 和 92.9%。不过论文摘要没有说明 35.0%是相对增幅还是百分点,也没有交代这些成功率对应的数据集、样本量和评测协议。材料还称 Point-Goal 与 POI-Goal 基准已开源,但没有提供代码或数据仓库链接。
AgentOS 管的不是一步,而是整件事
导航模型解决“下一段往哪里走”,ABot-AgentOS 关注的则是更长的链条。它架在 VLM、VLA 和低层控制器之上。VLM 是把图像与文字一起理解的视觉语言模型;VLA 是进一步把视觉和语言转成动作的视觉—语言—动作模型。AgentOS 不替代这些能力,而是决定何时调用它们,以及如何判断执行是否有效。
系统把工作分给三个角色。主 LLM 结合当前场景、记忆、机器人状态和可用技能,制定可修改的高层计划。Skill Runner 在隔离的局部上下文里执行具体子任务,保存重复观察、失败尝试和恢复过程,最后只把压缩后的结果交还主模型。这样,主模型不会被每次碰撞、转身和重新定位淹没。
Verifier 则负责核验。它在运行中检查机器人是否停滞、循环或反复碰撞;在技能结束时检查子目标是否真正完成;在整项任务结束前,再对照原始指令、执行轨迹和环境证据。关键变化是:工具正常返回,不再自动等于现实世界里的任务成功。
AgentOS 还采用边云协同。轻量的 Tiny LLM 在机器人端处理每轮交互、状态跟踪和常规决策;遇到复杂推理、长期规划或歧义时,再请求云端 Large LLM。论文称路由策略来自训练样本和执行反馈,而不是一组固定规则。
记忆不存流水账,而是存关系
长期运行的机器人不能每次都从零开始。ABot-AgentOS 的 Universal Multi-modal Graph Memory 把对话、视觉观察、地点、时间关系和任务轨迹写成带类型的节点与边,并保留来源信息。它不会简单保存整段视频或完整聊天记录,而是压缩成“谁、何时、在哪里、发生了什么、证据来自哪一帧”这样的结构。
例如,“我昨天领养了一只 Maltese dog”会被写成带时间的事件,并连接说话内容、身份假设、置信度和原始证据;若同时附有图片,图片也会成为证据节点。查询时,系统先用语义相似度、文字匹配、时间和地点等条件找到种子节点,再沿关系边展开一小片证据子图。机器人因此不只找到一句相似的话,还能追查人物、地点、先后顺序和证据来源。
论文还提出失败驱动的自进化机制。系统分析记忆写入、证据选择、画面选择、时间定位和答案组织等错误,把修复方案编译成受约束、可版本管理和回滚的 JSON DSL 资产,而不是直接运行自动生成的 Python 代码。为减少答案泄漏,某个评测划分产生的 evo-assets 只能用于之后的划分,不能回头修补当前成绩。这是机制设计声明,并不足以单独证明实现中完全不存在数据污染。
在四项记忆基准上,论文报告 ABot-AgentOS Static 的 Acc@All 分别为:LoCoMo 87.5、OpenEQA EM-EQA 59.9、Mem-Gallery 88.6、NExT-QA 76.5。加入 self-evolution 后,前三项分别升至 88.7、60.4 和 89.0。提升存在,但幅度不大,更适合看作这套持续修补机制的初步信号。
为什么值得关注
这套思路的价值不在于再造一个包办一切的大模型,而在于明确划分职责:导航模型给出视觉目标,控制器负责连续动作,技能执行器处理局部过程,核验器检查现实结果,图记忆保存长期证据。硬件接口则被包装成可插拔技能,使同一套高层逻辑有机会连接人形机器人、四足机器狗、移动操作平台和机械臂。
为了评估这种长任务系统,论文还提出可执行基准 EmbodiedWorldBench,覆盖 16 个室内、室外及混合场景、4 个难度等级和超过 200 项任务,包括导航、物体搜索、NPC 对话和动态事件。论文只称 AgentOS 在其中一个“初始子集”上,任务成功率与目标完成度优于 single-controller baseline,没有披露子集范围、提升幅度、基线配置或统计显著性。因此,它证明的仍是可行性,而不是完整基准上的普遍领先。
局限与未知
- ABot-N1 的关键成绩缺少数据集划分、样本量、对照模型和评测协议,论文所称“新 SOTA”暂时只能视为作者陈述。
- AgentOS 的跨机器人形态适配主要建立在技能接口解耦上;材料没有给出不同硬件间迁移成本和完整实机结果。
- EmbodiedWorldBench 目前只披露初始子集上的方向性优势,尚不足以判断系统在全部 200 多项任务中的稳定性。