Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.124 — 2026-11-05
PAPER H 130 约 6 分钟

世界模型学会分层规划长任务

ID-WM先找可达的阶段目标,再求具体动作,让世界模型更能规划长任务。

你让机器人把一个 T 形积木推到房间另一头,还要摆成指定角度。若它从第一步起就把几百步动作一次想完,任何一次小误判都可能越滚越大,候选动作也会迅速增多。论文《Hierarchical World Models with Implicit Dynamics》提出的 ID-WM,换了一种思路:先决定下一段“去哪里”,再计算这一小段“怎么走”。它试图让世界模型从短程预测器,变成长任务规划器。

世界模型——学习环境如何变化的模型——可以在执行前推演行动后果。但规划得越远,每一步预测的偏差越容易累积;同时,要搜索的动作组合也会快速膨胀。ID-WM要处理的正是这两个问题。需要先说明:本文的机制解释与实验数字均来自论文作者,尚不是独立复现后的结论。

先找落脚点,再想每一步

ID-WM采用分层规划:像规划长途旅行时先选途经城市,再安排每段街道。它把任务拆成两个层级。

高层模型负责提出一串阶段目标,也就是机器人接下来应该到达的状态。这里的“状态”不只可以是位置,也可以包括物体的位置和姿态。高层先考虑可达性——能否从当前状态抵达下一状态,而不急着确定每一个动作。

低层模型再把相邻状态之间的转移变成可执行动作。论文把它称作逆动力学求解:已知“现在在哪里”和“下一站在哪里”,反过来寻找应该采取什么动作。低层采用基于 Transformer 的确定性世界模型,根据过去的状态与动作预测下一状态,并在推理时搜索一段动作序列,使预测结果尽量接近阶段目标。

这种拆分就是标题中的“隐式动力学”。动力学通常描述“采取某个动作后,环境会怎样变化”;ID-WM没有让高层直接处理细碎动作,而是让它学习哪些局部状态转移可行,再交给低层补全控制细节。换句话说,高层管路线,低层管方向盘。

妙处在于:把噪声当成高层动作

高层使用扩散模型——从随机噪声出发,经过逐步去噪生成结果的模型——来产生当前状态附近、在限定步数内可能到达的状态。规划器真正搜索的不是预先定义的技能,也不是一长串底层动作,而是一组服从标准高斯分布的噪声向量。每个向量经确定性的 DDIM 去噪过程,映射成一个候选阶段目标。

作者因此把噪声称为“隐式高层动作”。这样做的用意是把搜索放进一个相对平滑、规整的空间,避开离散技能之间可能存在的断裂,也不要求预先训练“推”“绕行”等固定技能。

不过,模型仍可能钻预测漏洞:规划器若把噪声推到训练分布罕见的区域,便可能生成看似省事、实际不真实的“虫洞”转移。ID-WM为此加入正则项,惩罚幅度过大的噪声,让搜索尽量留在标准高斯分布的高密度区域。

执行时,它采用模型预测控制(MPC)——先规划一段、执行一段,再根据新状态重新规划。每轮先由高层搜索多个相邻子目标,再由低层逐段寻找动作。论文使用 CEM(交叉熵方法,一种反复保留较优候选并更新采样分布的搜索算法)完成两层搜索。这样,远方目标被拆成一系列局部可达的小跳。

短片段能否拼成长计划?

作者在 Wall、PushT 和 Maze 三个导航与操作环境套件中评测 ID-WM,任务时程从数百步到数千步。所有方法随机抽取 50 组初始状态与目标状态,报告平均表现;实验最多允许执行 2000 个环境步。比较对象包括目标条件行为克隆 GCBC、离线强化学习方法 HIQL、Diffuser 与 Hierarchical Diffuser,以及单层世界模型加 MPC。

论文报告,ID-WM在“到达任意目标”的总体表现上,比这些策略学习和扩散规划基线高 38.5%;相对单层世界模型 MPC,作者报告了 135% 的 performance gain。这里不能简单理解为所有任务都统一提升了这么多:论文摘要没有把这两个汇总数字对应的绝对分数、方差或统计显著性一并给出,尤其“135% gain”的具体汇总口径仍需谨慎解读。

更直观的证据来自 PushT。这个环境要求智能体既把 T 形积木推到目标位置,也让自身抵达指定位置。与另一种使用宏动作的分层世界模型 HWM 相比,ID-WM在四种 PushT 设置中的成功率分别为 1.00、0.77、1.00、1.00;HWM为 0.38、0.20、0.42、0.16。作者还展示了两条不同方案:一条顺时针旋转积木,另一条逆时针旋转,最终都能完成目标。这支持了论文的核心主张:模型可以把训练数据中的局部片段重新组合,而不必照搬一条完整行为轨迹。

视觉版 PushT则把图像压缩为潜在表示后再规划。在较长时程及随机目标设置中,ID-WM的成功率分别为 0.60、0.50、0.26,高于 HWM 的 0.46、0.14、0.02,也高于单层 DINO-WM 的 0.16、0、0。短时程设置并非全面领先:ID-WM为 0.90,DINO-WM和 HWM分别为 0.84与0.96。这也说明,分层结构的价值主要出现在任务拉长以后。

为什么值得关注

这项工作的重点,不只是“再做一个更大的世界模型”,而是改变世界模型规划时间的方式。单层模型需要在细动作层面一路预测到远方;ID-WM先用可达状态压缩搜索,再把局部转移落到动作。它把长任务的难题从“一次猜对整条轨迹”,改写成“不断找到可靠的下一站”。

如果这一机制能在更多真实环境中成立,世界模型就不必只擅长短片段预测,而可能在没有任务专用奖励、价值函数或预训练低层策略的情况下,组合出训练时没有完整出现过的长计划。论文在复杂、未见配置上的结果指向了这种可能性,但目前证据仍主要来自作者设定的模拟环境。

局限与未知

  • ID-WM依赖在扩散潜在空间中反复搜索,推理时间高于反应式策略或确定性世界模型。作者把降低这一成本列为后续方向。
  • 分层结构避免了规划复杂度直接随轨迹长度增长,但搜索成本仍会随状态空间维度增加。真实环境若包含更多物体和更复杂观察,扩展性仍待验证。
  • 论文已发布于 arXiv,编号 2610.42146。当前效果来自同一研究团队的单一信源;38.5%与135%的汇总口径、基线预算公平性及统计稳定性,还需要更完整披露与独立复现。

供稿材料 SOURCES — 1
01
Hierarchical World Models with Implicit Dynamics arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-11-05 · 学术板块