你让机器人把杯子推到桌边，它不能只在“脑中”生成一段看起来合理的视频。它还得知道杯子有多远、手和杯子的边界在哪里、每个位置正往哪个方向移动。过去，这两件事通常由不同系统完成：一个负责想象未来，另一些再从画面里提取结构。GenSight想把它们合成一件事。
它是一种具身世界模型——让AI建立身体、物体与环境如何变化的内部模型。研究团队把未来视频生成与稠密感知放进同一个预训练视频扩散Transformer中。所谓稠密感知，是对画面中大量位置逐点作出判断，而不只是给整段视频贴一个标签。
以下方法描述和实验数字均来自GenSight论文及其作者实验，尚无独立信源交叉复核。
不只生成画面，还要读懂画面
GenSight同时处理四类时空信息：普通视频、深度、具身分割，以及相对第一帧的二维光流。
深度表示物体离镜头多远；分割给机器人手臂、夹爪或人的手划出边界；光流描述画面各处相对第一帧怎样移动。它们分别对应外观、几何、语义和运动。论文把这套能力称为“4D感知”——通常指三维空间再加时间。
传统做法更像一条流水线：先生成RGB视频，再把结果交给深度、分割和光流模型。问题在于，生成视频里的瑕疵会继续传给后面的感知系统；各系统独立训练，也很难保证它们对同一物体的判断互相吻合。GenSight改成让这些任务从训练开始就共用一套内部表示。
把不同答案都翻译成“图像”
第一步，是把四种看似不同的输出变成同一种格式。
GenSight采用“Everything-as-RGB”表示：深度、分割和光流都先通过确定性的转换，编码成类似三通道彩色图像的数据，再交给同一个冻结的视频自动编码器。自动编码器可以理解为一台压缩与还原机器：它把视频压进更紧凑的潜在表示，处理完成后再解码回来。
这样一来，模型不必为每种任务另建一套编码器和解码器。任务之间的差异主要留在输入输出边界，内部则尽可能共享。
论文还给出一种受限条件下的三维运动恢复方法：把预测深度与相对首帧的二维光流结合，可以计算3D scene flow，也就是场景点在三维空间中的运动。不过这一推导假设相机静止、内参不变，因此不能直接等同于适用于任意移动相机的通用三维重建。
同一个大脑，轻轻切换任务
四项任务使用同一个Video DiT主干。DiT是Diffusion Transformer的缩写，即用Transformer完成扩散生成：模型从带噪表示出发，多轮修正，逐步得到连续视频。
GenSight没有给深度、分割或光流各装一个独立输出头，而是在共享网络中加入轻量的任务调制。可以把它理解成同一位摄影师切换不同滤镜：主要能力不变，只用少量参数告诉网络，现在要关注外观、距离、边界还是运动。
这些调制参数从零开始初始化，因此训练起点严格保留预训练视频模型原有的计算方式。实验中的消融研究显示，完全共享过长的前缀会同时损害视频生成和稠密感知；保留适量的后段任务调制，整体平衡更好。
连“答题方式”也统一
GenSight不只共享数据表示和网络结构，还统一了预测空间。
视频扩散模型原本学习的是velocity prediction——预测带噪状态沿着去噪路径应如何变化。一个更直观的方案，是让视频继续预测velocity，而让感知任务直接回归干净结果。但这会迫使同一个主干同时适应两种答题方式。
GenSight让四项任务都预测velocity，并让它们使用相同的噪声样本。这样，不同任务目标相减时，噪声会被抵消，剩下的是视频与深度、分割或光流之间的跨模态差异。论文认为，这为各任务提供了共同起点；不过“因此带来更强跨模态一致性”仍主要是作者对设计和实验的解释，不能当作已经独立证实的因果结论。
一套模型，两种用法
推理时，GenSight有两种工作模式。
第一种是“想象”：输入一张初始图像和文字提示，模型经过多步去噪生成未来49帧视频，并在生成轨迹的特定噪声位置读出对齐的深度、分割与光流。感知结果不需要各自再跑一遍完整去噪过程。
第二种是“看见”：输入一段已经观测到的视频，模型直接构造指定噪声状态，用一次前向计算预测所需的稠密信息，不必迭代生成视频。不同任务适合的读取噪声水平并不相同；论文的消融实验发现，深度、分割和光流各有不同的最佳区间。
数字说明了什么
GenSight使用RoboMIND 2.0与团队的EgoTable数据训练，共计221,044段操作过程，覆盖四种机器人形态和人手交互；论文还在未见过的任务及RoboTwin 2.0模拟环境上测试迁移。
在RoboMIND 2.0的视频生成比较中，GenSight的FVD为14.55，低于其基础模型Cosmos3-Nano的44.97，也低于RynnWorld4D的73.45；论文报告它在四个生成模型中取得最低FVD、FID和LPIPS。这里更重要的信号不是某个指标单独领先，而是模型加入三种感知任务后，原有视频生成能力没有明显被挤掉。
在输入真实视频的感知模式中，GenSight的具身分割IoU达到88.7%，高于SAM3的73.5%和GenCeption的67.5%。深度估计RMSE为4.76厘米，论文列出的最强基线VGGT-为13.11厘米。二维光流EPE为5.2，也是表中最低值。三维运动方面，它落后于使用真实深度的RAFT-3D，但优于不使用真实深度的对比方法。
这些结果支持一个值得继续观察的方向：视频生成学到的时空规律，可能不只适合“做出像真的画面”，也能成为几何与运动感知的共同底座。反过来，深度、边界和运动监督也可能促使生成模型关注更有物理意义的结构。GenSight的价值，正在于把这种双向关系做成一套可训练、可切换的系统。
局限与未知
- 训练所需的部分稠密标签来自传感器补全和现成估计器，论文承认其中可能带有噪声与偏差。
- 当前模型负责世界建模，还没有接入动作预测或控制，因此尚未形成“感知—决策—行动”的闭环。
- 论文展示了统一模型的强劲结果，但跨模态一致性和任务互相促进的因果解释，仍需要更多独立实验验证；静止相机假设也限制了其三维运动恢复的适用范围。