导语
训练机器人有点像教人做家务：最有效的方法，是让它看别人怎么做，甚至亲自跟着做一遍。问题在于，机器人这“一遍”很贵。每次示范都要有人遥操作，也就是远程控制真实机器人完成动作；还要准备场地、摆好物体、处理失败后的重置。一个动作换一台机器人、换一个桌面、换一批物体，成本又重新来一遍。
RynnWorld 这一组工作想做的事，就是把一部分练习搬进数字世界。不是用传统仿真软件一点点建模物体，而是让生成式世界模型直接“想象”机器人看到的画面和物体的变化。今天的两篇同源工作分别切中两个环节：RynnWorld-Teleop 让人用手部动作流驱动机器人视角的视频生成，用来造训练数据；RynnWorld-4D 则把普通彩色视频、深度和光流放在一起预测，让模型更接近机器人真正要执行的低层动作。需要先说清楚：材料主要来自论文与 hf-daily-papers 摘要，关键效果多为作者自述，缺少第三方复现和外部评测支撑。
先在数字世界里遥操作
传统 teleoperation（遥操作）很直接：人控制真实机器人做示范，系统记录机器人看到什么、做了什么，然后拿这些轨迹训练策略。它的好处是数据质量高，坏处也明显：每条数据都绑着人的时间、具体硬件和真实场地。
RynnWorld-Teleop 提出 digital teleoperation（数字遥操作）：操作者不必每次都驱动真实机器人，而是给模型一张初始参考图，再持续输入 hand-pose stream，也就是人的手部姿态序列。模型根据这些动作，生成机器人第一视角下接下来会看到的视频。
这里的关键不是“生成一段好看的视频”，而是视频背后有动作标签。论文称，这条手部姿态流可以作为 embodiment-agnostic action label，也就是不绑定某一种机器人身体形态的动作标注。再通过 standard retargeting（标准重定向），把人的动作转成目标机器人的动作。这样就得到一组可用于 imitation learning（模仿学习）的 state-action trajectories：状态是生成出来的机器人视角画面，动作是对应的机器人关节控制。
说白了，以前是“人开真实机器人录视频”。现在变成“人做动作，生成模型补出机器人会看到什么”。如果这件事足够准，机器人训练数据就不再完全受限于实验室排班和真实物体摆放。
它怎么让画面跟动作对上
RynnWorld-Teleop 的输入是 single reference image（一张参考图）加手部姿态流。它要解决一个很具体的问题：同样是手往前伸，在二维画面里看起来可能差不多，但实际深度完全不同。机器人抓东西时，差这几厘米就会失败。
论文为此用了 depth-aware skeletal conditioning。可以理解成：模型不只看手部骨架在画面上的位置，还把远近信息编码进骨架表示里。这样，手是靠近物体、越过物体，还是还在半空中，模型有更明确的空间线索。
训练上，它采用 progressive human-to-robot training。先在大规模第一视角人类视频上学“手和物体互动大概会怎样”，再用配对的人类-机器人数据把这种经验迁移到机器人身体上。论文给出的训练数据包括 EgoDex 的 7400 万帧、VITRA 的 3070 万帧，以及自采机器人域数据 43 万帧；机器人域部分包含 1800 条高质量示范，覆盖 Dual Picking、Block Pushing、Bimanual Lifting 和 Lid Placement 四类双臂任务。
为了实时交互，RynnWorld-Teleop 还做了 streaming autoregressive distillation。这里可以拆开看：autoregressive 是像接龙一样一帧接一帧生成；distillation（蒸馏）是把较慢、较强的教师模型能力压到更快的学生模型里。论文称，最终生成过程被压成 single-pass inference，并能在单张 H100 GPU 上达到 40+ FPS 的实时交互生成。这个 40+ FPS 只属于 RynnWorld-Teleop，不应外推到 RynnWorld-4D。
数字数据真的能训练机器人吗
作者最重要的论断是：RynnWorld-Teleop 生成的数据不只是视觉演示，还能用于真实机器人策略训练。
在四个真实世界双臂任务上，论文比较了真实数据和“真实数据 + RynnWorld-Teleop 生成数据”的效果。每个任务用 35 次连续真实试验计算成功率，试验需在 120 秒内达到目标状态。
几个数字能说明趋势。对 Diffusion Policy，加入 300 条生成数据后，Dual Picking 从 82.86% 到 88.57%，Bimanual Lifting 从 88.57% 到 94.29%，Lid Placement 从 57.14% 到 65.71%。对另一组策略，Lid Placement 从 42.86% 到 62.86%。对 pi0，Lid Placement 从 34.29% 到 54.29%。这些提升均来自论文表格，尚未见独立复现。
更激进的一组实验是不用真实数据，只用 300 条 RynnWorld-Teleop 生成数据训练 pi0。它在 Block Pushing 上达到 82.86%，在 Bimanual Lifting 上达到 77.14%。论文把这称为 effective zero-shot Sim2Real transfer，也就是从生成数据直接迁移到真实机器人。这个结果很有吸引力，但也要克制理解：材料没有给出更多任务规模、置信区间或第三方 benchmark。
另一篇：不只预测画面，还预测空间怎么动
RynnWorld-4D 关注的是另一层问题。机器人如果只看 2D pixel videos，也就是普通平面视频，它能看到“画面变了”，但不一定知道物体在三维空间里怎么动。比如一个杯子往右移，画面里像素在变；但机器人真正关心的是杯子离自己多远、移动轨迹是什么、手该什么时候闭合。
所以 RynnWorld-4D 主张用 RGB-DF。RGB 是普通彩色视频；depth（深度）告诉每个点离相机多远；optical flow（光流）描述画面里的像素怎么移动。三者同步起来，就同时提供外观、空间和运动线索。所谓 4D 世界模型，这里的 4D 指三维空间加时间，关注物体结构如何随动作变化。
根据摘要，RynnWorld-4D 从 single RGB-D image（一张彩色加深度图）和 language instruction（语言指令）出发，在同一个 diffusion process（扩散生成过程）里共同生成未来 RGB 帧、深度图和光流。它使用 tri-branch architecture（三分支架构），结合 cross-modal attention（跨模态注意力，让不同信息互相对齐）和 frame-wise 3D RoPE（一种按帧处理三维位置关系的位置编码）。
训练数据方面，Rynn4DDataset 1.0 包含超过 2.544 亿帧，来源覆盖第一视角人类视频和机器人操控视频，并带有 depth 与 optical flow 的 pseudo-labels（伪标签）。伪标签意思是这些深度和光流并不一定全来自人工或传感器真值，可能由模型或算法估计得到。因此，它能扩大规模，也会带来标签质量影响 4D 一致性的风险。
RynnWorld-4D 还提出 RynnWorld-4D-Policy。它是一个 inverse dynamics head，可以理解成“反推该怎么动”的动作头：给它世界模型内部的 4D 表示，它在 single forward pass 中输出机器人动作，绕过昂贵的多步去噪过程，并以 closed-loop（闭环）方式控制机器人。摘要称它在真实世界 dexterous bimanual manipulation tasks 上达到 state-of-the-art performance，尤其擅长空间精度和时间协调任务。但材料没有提供具体任务数、成功率或对照表，因此这里只能按作者摘要表述。
为什么今天值得放在一起看
这两篇工作放在一起，真正有意思的地方不只是“又一个机器人视频模型”。它们把机器人学习里的三个难点连成了一条线。
第一，数据贵。RynnWorld-Teleop 试图把遥操作从真实机器人搬到生成式数字世界里，让人的动作仍然被记录为可训练的动作标签。
第二，视频不等于动作。机器人不能只看好看的预测画面，还要知道自己该怎么动。Teleop 通过手部姿态流和重定向给出动作轨迹；4D 则尝试让模型内部表示更接近末端执行器动作，也就是机器人手或夹爪最终要执行的低层控制。
第三，空间和时间要一起处理。4D 世界模型把 RGB、深度和光流同步生成，目标是让模型不只知道“接下来画面长什么样”，还知道“东西在空间里怎么随时间移动”。这对双臂协作、精准放置、连续推动这类任务尤其关键。
如果这些路线成立，机器人训练会更像“先在可交互的视频世界里练手，再迁移到真实机器上”。这不会立刻替代真实机器人数据，因为真实世界的接触、摩擦、失败恢复仍然难以完全生成。但它可能让真实数据从唯一来源，变成校准和补强生成数据的一部分。
局限与未知
-
关键效果大多来自同一系列论文或摘要材料，缺少第三方复现、公开 issue、独立 benchmark 原始表格支撑。
-
RynnWorld-Teleop 的 40+ FPS、single H100、zero-shot Sim2Real 等结论只适用于 Teleop 系统；RynnWorld-4D 的 2.544 亿帧数据集规模和 4D policy 结论也不能反向归给 Teleop。
-
RynnWorld-4D 使用深度和光流伪标签。伪标签质量会影响所谓 4D 物理一致性，但摘要没有披露足够细节来判断误差如何传导到策略表现。