你让机器人把杯子递过来，再请 AI 预演接下来的画面。最省事的答案，是把最后一帧原样复制五次。桌面和墙壁本来就不动，这样生成的图片看着稳定，综合分数甚至可能不错；但真正关键的机械臂和夹爪，也被定在了原地。
AcrossVAM1.0 想绕开这个陷阱。它不让一个模型同时操心运动、纹理和所有像素，而是把任务拆成两部分：先预测机器人各部件怎么动，再从已看到的画面里补回外观。这个分工提供了一条比“直接生成整张未来图片”更容易检查的路线。
本文数据和结论均来自 Zhang 与 Wu 的同一篇 arXiv 论文，尚无第三方复现。
先摆动作，再补画面
AcrossVAM1.0 是一个视频世界模型——根据过去画面和指令，在内部排演未来。它先用冻结的 SAM3-DLP codec 处理四个上下文帧，把机器人整体、机械臂和夹爪表示成“语义粒子”，同时提取背景的潜表示。
这里的粒子不是物理微粒，而是一组代表对象的信息点。每个粒子记录位置、尺度、深度、是否出现和外观等信息。潜表示则像一份压缩后的画面摘要，负责保存背景和纹理。这样一来，运动模块不必一边判断夹爪往哪走，一边记住桌面的每处细节。
模型还要解决一个基础问题：不同帧里的某个粒子，是否始终代表同一部件。论文用固定的语义部件编号处理离线 VRS 数据；面对没有顺序的候选粒子时，则保留 Hungarian matching——一种为前后两组对象寻找最佳对应关系的匹配方法。
接下来，一个只有 28 万参数的时空 Transformer 推演粒子状态。Transformer 是一类会比较序列各部分关系的神经网络；在这里，它既沿时间追踪同一个部件，也分析机器人整体、机械臂与夹爪之间的互动。
自然语言指令经过冻结的 OpenCLIP 编码器，变成一组数字表示，再通过 FiLM 注入运动模块。FiLM 可以理解为一排由指令控制的调节旋钮：它改变中间特征的强弱，却不直接替模型生成未来。论文因此刻意称系统为“文本辅助”，而不是“由指令控制”。
为什么还需要第二条路
粒子擅长描述几何和运动，却装不下丰富纹理。论文的重建实验也显示：基础粒子 codec 的 PSNR 为 20.94；加入残差编码后达到 27.95，提高 7.01 dB。PSNR 是衡量重建画面与原图差异的指标，通常越高越好。这组结果支持了作者的核心判断：不该强迫紧凑的运动表示同时保存全部外观。
因此，解码器采用两条信息流。一条把预测粒子渲染成结构化画面，告诉系统“哪些部件到了哪里”；另一条只从最后一个观测帧提取稠密外观，再补回纹理。系统不读取未来画面，因此不能从外观支路偷看答案。
最后，一张学习得到的 delivery mask 决定每处像素更应该采用新生成的内容，还是沿用最后一帧。它有点像局部施工许可：机械臂确实移动的地方允许重画，静止桌面则尽量保持不动。
粒子路线到底带来了什么
论文构建的 VRS benchmark 含 2746 个带标注片段，来自多种真实机器人轨迹；训练、验证和测试分别使用 2526、106 和 105 个片段，另有 9 条记录被排除。平台包括 Franka、WidowX、Mobile ALOHA、Google Robot、Fanuc、Sawyer、Stretch、UR5、Kuka IIWA 和 xArm。模型观察四帧，预测随后五帧。
首先看运动。与 persistence baseline——直接假定物体停在最后位置——相比，粒子动力学把轨迹误差降低了 21.0%。这是相对降幅，不等于整体预测准确率提高 21%。三次测试的改善范围为 20.6% 至 21.4%，说明这部分结果在论文自己的设置里较稳定。
再看图像。直接用粒子生成画面时，运动区域 PSNR 从 persistence 的 11.89 提高到 13.23，说明真正移动的部分更接近目标。但它也改坏了大量本来静止的像素，导致全局 SSIM 从 0.796 降至 0.7634。SSIM 衡量图像结构的相似程度，越高通常越好。
学习式 delivery mask 把全局 PSNR 从 19.97推到 20.573，SSIM 从 0.796推到 0.8004；代价是运动区域 PSNR回落到 12.870。这正是这套方法最值得看的地方：它没有假装运动与画质可以免费兼得，而是把两者之间的拉扯明确呈现出来。
它暴露的问题同样重要
感知相似度指标 LPIPS 上，AcrossVAM1.0 为 0.1304，仍差于 persistence 的 0.122；该指标通常越低越好。逐像素挑选“生成”或“复制”的 oracle 上限能达到 22.121 PSNR，比实际模型高约 1.55 dB。这说明候选画面并非唯一瓶颈，系统还不够会判断哪里该改、哪里该保留。
语言作用也很有限。正确指令与打乱指令相比，轨迹误差只相差 2.8%至3.1%，低于作者设定的 10%目标。随机标签和运动学伪文本带来的差距接近零，说明模型可能捕捉到了一点真实语义信号，但远谈不上可靠地“听懂命令”。
跨机器人表现也不一致：模型在 Franka、WidowX 和 UR5 上改善轨迹预测，却在 Mobile ALOHA、Google Robot 及若干小样本子集上退步；严格的 Mobile ALOHA 留一机器人实验没有超过 persistence。
局限与未知
- “轻量”主要指 28 万参数的运动核心；完整可训练预测栈约 950 万参数，且不含冻结但体量较大的 SAM3-DLP 和 OpenCLIP。
- 论文只预测五个未来帧，构建 codec 时使用部件掩码；公开基线尚未在完全相同的 VRS 划分和协议上重训。
- 当前证据仍是视频指标，而非闭环机器人控制结果。语言依赖、外观交付和跨机器人迁移，都还没有解决。
AcrossVAM1.0 眼下更像一次有价值的拆账：粒子动力学确实学到了一些运动，外观支路守住了不少静态细节；与此同时，LPIPS、语言对照和跨机器人测试把失败处摆在了台面上。对机器人视频世界模型而言，这种可诊断性或许比又一个漂亮的综合分数更重要。