想象一张台球桌:第一颗球撞上第二颗,第二颗又撞向第三颗。要预测最后一颗球去哪,前面的碰撞一步也不能算错。论文《The Seriality Gap in Video Diffusion Models》用这个简单场景追问一个关键问题:能生成漂亮视频的 AI,是否真的会把物理过程一步步算下去?答案并不乐观。研究者发现,标准视频扩散模型遇到越来越长的碰撞链时,预测会持续变差。给它更多去噪轮次,也没有补上这种能力。
这值得现在关注,因为视频模型正被越来越多地当作“世界模型”——也就是能预测环境如何变化的模型。生成一段看起来合理的画面,和准确模拟一连串因果事件,并不是一回事。本文的实验、结论与理论主张均来自 Jorge Diaz Chao、Konpat Preechakul、Yuxi Liu 和 Yutong Bai 的这篇论文,尚缺独立研究的交叉验证。
把世界缩成几颗球
研究者没有直接测试街景、机器人或复杂游戏,而是搭了一个极简环境:相同的小球在方形盒子里无摩擦运动,与墙壁和其他球发生完全弹性碰撞。系统是确定性的——初始状态相同,未来轨迹就只有一个正确答案。
这样做的好处,是把视觉干扰降到最低。模型不用识别人脸、材质或复杂背景,也不用在多个合理未来之间选择。它只需根据开头几帧预测后续视频。如果连这种清楚、单一的物理过程都接不住,问题就很难归咎于画面太复杂。
这里真正变化的是“因果链”:一个事件造成下一个事件,再由后者造成第三个事件。多球视频越长,球与球之间连续相撞的机会越多,后面的状态也越依赖前面每次计算是否正确。研究者把碰撞次数当作串行复杂度的近似指标。
模型采用 DiT 风格的视频扩散架构,并改编自 Wan2.1。视频扩散模型从带噪的视频表示出发,反复去噪,逐渐得到完整片段。标准的“双向”生成会同时处理多个时间位置。它能从整体上协调画面,却不一定像物理模拟器那样,严格按“先撞这里,再影响那里”的顺序推进。
不是视频太长,而是事情环环相扣
实验首先出现了一个清晰分化。论文报告,多球碰撞链变长后,双向视频扩散模型的局部物理误差上升;自回归模型的误差则更低,也更稳定。自回归生成是把未来拆开,先生成较早部分,再以它为条件生成较晚部分,顺序更贴近事件的因果方向。
但长视频本来就更难。为了排除这个解释,研究者做了一项干预实验——有意只改变某个因素,再用对照判断它是不是原因。他们制作了时长匹配的单球视频。单球仍会撞墙,却不会与其他球相撞;其未来可以从初始条件直接计算,不需要沿着球际碰撞链逐步推进。
在这个对照中,论文称双向模型与自回归模型的局部物理误差几乎相同,而且没有随视频变长明显恶化。换句话说,主要障碍不是“片段更长”,而是“后一个事件必须建立在前一个事件之上”。这项对照支持因果链解释,不过仅凭正文所给信息,还不能确认遮挡、速度或状态空间复杂度等潜在因素是否被完全排除。
模型犯的错也很直观。论文列出三类常见现象:球穿过物体,或消失后在别处出现;两个球合成一个,或一个球裂成多个;球的颜色发生变化、复制或互换。这些视频可能第一眼仍像那么回事,但内部状态已经断裂。错误在双向模型、较长的多球视频和高速运动中更常见。
多去噪几轮,为什么不管用?
直觉上,扩散模型每去一次噪,就多进行了一轮计算。那只要增加去噪步数,是否就能把碰撞链慢慢想清楚?论文的实验不支持这个猜测。增加步数起初能改善表现,但到一定阶段后收益很快饱和;继续增加没有稳定帮助,有时误差反而上升。长碰撞链上的差距依然存在。
研究者把症结称为“seriality gap”,即“串行性缺口”:任务所需的顺序计算会随着因果链增长,模型真正可用的串行计算却没有同步增加。总计算量多,不等于按正确顺序计算得多。像是许多人同时检查一整排多米诺骨牌,却没有人沿着倒下的次序逐块追踪。人手不少,因果链仍可能断掉。
论文进一步给出一个限定明确的理论解释。对于确定性视频预测,只要开头若干帧已经完整确定系统状态,未来就只有一个正确结果。在“score network 能精确计算 score”的假设下,一次网络求值已经包含恢复该未来所需的信息。score 可以理解为去噪时指向更可能数据的方向,而 backbone 是每轮去噪实际承担计算的主体网络。按照论文的证明,重复去噪不会在 backbone 已有能力之外,额外提供可随问题长度增长的串行计算。
这不是说增加去噪步数永远无效。结论针对确定性视频预测,并依赖论文对精确 score、可观测性和计算复杂度的形式化设定。它解释的是:为什么更多轮次可能改善画面,却未必等于沿着更长因果链多推演几步。
真正有效的是把计算排成队
论文比较了两类更直接的改动。第一类是把视频分块生成。块越小,生成顺序越接近完全自回归,局部物理误差就越低。由于这些版本使用相同的基础架构,改善更可能来自计算顺序,而不是模型容量突然变大。
第二类是调整 backbone 的形状。论文报告,在相近预算下,增加网络深度比增加宽度更有效:更深、更窄的模型胜过更浅、更宽的模型,直到继续加深开始出现收益递减。深度可以让信息经过更多连续处理阶段;宽度则更像让同一阶段并行处理更多内容。对连锁碰撞来说,前者更贴近任务需求。
这也是论文最有价值的提醒:评估“世界模型”不能只看视频是否连贯、是否逼真,还要检查模型能否保存状态,并把一个事件的结果准确传给下一个事件。连续碰撞只是最小试验场。它没有证明所有视频扩散模型都无法模拟真实世界,但揭示了一个容易被漂亮画面遮住的差别——视觉可信,不等于因果可信。
局限与未知
- 结论来自合成硬球环境和同一篇论文,实验数字、误差幅度及统计显著性没有在供稿中完整呈现,尚待独立复现。
- 理论证明限定于确定性、充分可观测的视频预测,并依赖对 score 与 backbone 的形式化假设,不能直接外推到开放世界或多种未来都合理的生成任务。
- 自回归在这里有效,是因为依赖关系大体沿时间展开。若任务需要全局规划,或依赖关系不按帧排列,逐帧生成未必是通用解法。