你看见一个人把抽屉推上，也看见机械臂完成同样的事。我们很容易认出两者“做的是同一个动作”，模型却可能被手和夹爪的外形、拍摄视角与房间背景带偏。DreamX想解决的，正是如何从视频中只抽出“做了什么”，尽量不管“谁在做、长什么样”。如果这种表示真能跨越人和机器，海量人类视频就可能成为机器人学习的材料，而不必为每段视频补上机器人专用的控制标签。
DreamX复用预训练视频扩散模型——一种从噪声逐步还原连贯视频、因而学到画面如何随时间变化的生成模型——把它改造成动作提取器。以下效果与数字均来自DreamX论文及其作者实验，尚无独立信源交叉验证。
不给动作起名字，先把变化压出来
DreamX学习的是“潜在动作”：模型从连续画面的变化中提炼出的紧凑编码。它未必能直接翻译成“向左”“抓取”之类的人类词语，更像视频与机器人控制之间的一种中间语言。
过去的潜在动作模型常从一对相邻画面学习。问题在于，只要某些视觉细节能帮助重建下一帧，模型就可能顺手把视角、背景乃至机械臂外形也塞进动作编码。这样得到的表示能复原画面，却未必真正理解动作；换一个机器人，编码就可能失效。
DreamX换了一个信息来源。它直接读取视频扩散模型内部的时空特征，也就是模型在处理“什么东西位于哪里、又如何随时间移动”时形成的中间表示。具体做法是向视频模型加入一组可学习的查询 token。token可以理解为模型处理信息时使用的小块单位；这些查询像几张专门收集动作线索的表格，在模型观察整段视频时汇总帧间变化。
论文称，每个潜在视频帧原本有1,200个视频 token，DreamX将其压成4个潜在动作 token，数量缩小300倍。这里压缩的是token数量，不等于文件体积缩小300倍，也不代表信息毫无损失。
关键约束：让外观从第一帧来
只做压缩还不够。模型完全可能把衣服颜色、机械臂形状和动作一起压进去。DreamX因此让同一个预训练视频模型再扮演解码器：它拿到第一帧和潜在动作，尝试重建后续视频，但不再接收文字条件。
这个设计的直觉很简单。第一帧已经交代了场景和主体长什么样，视频模型原有的生成能力也负责补足视觉细节，潜在动作便更需要说明“接下来怎么动”。论文把这种目标称为解耦，即把原本混在一起的动作与外观因素拆开表示。理想结果是不变性：同一动作换了人物、机器人或背景，内部编码仍尽量一致。
DreamX以Cosmos-Predict2.5 2B为基础，在多组人类第一视角视频与机器人示范上训练。每个潜在帧使用4个查询 token，编码器和解码器分别通过LoRA——只调整少量附加参数的模型适配方法——训练78,000步。论文还加入了机器人动作辅助分支；不过消融实验显示，只用RGB视频时，动作回归平均误差为0.24、分类准确率为65.3%，加入动作标签后分别为0.23和64.8%。两组结果接近，说明在作者的测试设置中，主要动作信息确实可以从视频本身学到。
它真的抓住动作了吗？
作者先在LARYBench检验表示质量。这个评测包含两类问题：动作回归看编码能否恢复细致的末端执行器轨迹，误差越低越好；动作分类看它能否区分不同运动，准确率越高越好。
DreamX的平均回归误差为0.17，优于论文列出的最强对照DiLA的0.38；平均分类准确率为69.67%，也高于DiLA的62.25%。进一步压成32通道后的FAE-32版本，两个数字为0.22和67.15%，仍超过表中其他对照。作者据此称其在潜在动作模型中达到state of the art，但论文没有提供统计显著性，结论应限定在这套基准和对照范围内。
更直观的测试是“换演员”。DreamX从源视频提取动作，再把它与另一张目标首帧组合，让解码器生成新视频。论文展示了同一机器人跨环境、不同机器人之间以及人到机器人的迁移，也报告在HumanAndRobot评测中各项指标都超过AdaWorld和VideoWorld 2。配对的人类—机器人录像只用于评估，没有用于训练。作者还让系统把人类书写字母“N”的动作直接解码成机器人底层控制；机器人复现了笔画结构。在推推动作中，它也保留了“先向前、再向左”的顺序。
这类迁移被称为zero-shot action transfer：模型没有针对这对源与目标另做配对训练，就尝试把动作搬过去。论文所说的any-to-any同样应理解为实验覆盖的多种组合，而不是已经证明任意视频、任意机器人都能互换。
为什么这条路线值得看
机器人示范昂贵，而且不同机器人使用不同的控制空间。同一种行为落到底层，可能对应完全不同的关节或执行器指令。人类视频数量丰富，却通常没有机器人动作标签。DreamX试图绕开标签不兼容的问题：先把视频翻译成共享的潜在动作，再由目标机器人把这层表示翻译成自己的动作。
它还把潜在动作作为策略学习目标。策略在执行时直接预测紧凑编码和底层动作，不必先生成未来视频。在真实抽屉关闭实验中，机器人需要关闭上层、下层或依次关闭两层抽屉。论文报告平均子目标成功率为96.7%，三种设置的推动完成率分别为80%、100%和100%，每次策略调用推理延迟为1.47秒。这说明该接口至少能用于作者测试的抽屉任务，但尚不足以证明广泛部署能力。
局限与未知
- 所有结果都来自论文作者。所谓“通用”、any-to-any和zero-shot覆盖的是论文展示与评测的范围，不能外推为任意人物、环境和机器人都适用。
- 1,200到4个token的压缩很醒目，但论文未量化压缩前后的信息损失。所谓降低计算成本，也没有给出与完整视频生成策略的统一成本对比；是否计入扩散模型特征提取和预训练开销并不清楚。
- 动作迁移采用开环执行，也就是过程中不靠新的视觉观察纠错。论文明确提醒，跨本体迁移和机器人策略可能在评测范围之外失败，实际部署前仍需安全验证。