你按下攻击键，画面里的角色挥刀，敌人也像模像样地后退。可过了一会儿，系统忘了敌人已经受伤；你转身再回来，被砸坏的建筑甚至恢复原样。这样的 AI 很会“接着画”，却还不会稳定地运行一个世界。
Alaya Lab 的论文《From Pixels to States: Rethinking Interactive World Models as Game Engines》认为，交互式世界模型不该只预测下一帧像什么，还要像传统游戏引擎那样，明确记录世界处于什么状态，再按照规则决定动作结果。世界模型——也就是让 AI 根据当前环境和动作推演接下来会发生什么的内部模拟器——若想真正支持游戏，关键不只是画面逼真，而是世界能否长期记账、遵守规则并及时回应玩家。
这篇论文主要是一项框架梳理，并配套介绍了一套《Black Myth: Wukong》数据采集引擎。下文涉及的分类、数据规模和能力判断均来自作者，尚无独立实测或第三方交叉验证。
先决定发生什么，再把它画出来
许多视频生成式世界模型采用一条直接路线：读取此前画面和用户动作，然后继续生成未来画面。短时间看，它可以很逼真。问题在于，画面不等于完整的世界状态。门是否已经打开、角色还剩多少体力、技能是否处于冷却期，这些事实未必一直出现在镜头里。
传统游戏引擎的处理顺序不同。以论文中的战斗场景为例：玩家按下攻击键后，引擎不会直接生成挥刀画面。它先检查体力、技能冷却、敌人位置和动画阶段，再依据战斗规则判断这次攻击是落空、造成伤害、打断动作，还是触发阶段变化。状态更新之后，引擎才把结果渲染成画面。
作者把这套流程概括为“action-state-observation”循环：动作先改变状态，状态再决定观测到的画面。这里的显式状态，指角色位置、生命值、装备和任务进度等决定世界如何变化的信息。它类似游戏存档中的事实记录，不必每到一帧都从画面重新猜测。
这个角度的转变很重要。它把问题从“下一帧画得像不像”改成了“这个世界为何会变成下一帧”。
一个交互世界要过四道关
论文据此把现有研究整理成四个维度。
第一是玩家动作控制。动作可以表示为镜头轨迹，也可以直接记录键盘、鼠标等操作，还可以用自然语言描述“攻击某个敌人”这样的语义事件。轨迹控制精确，但主要适合移动视角；原始按键贴近真实操作，却可能无法完整表达组合技能的意图；语言更灵活，不过控制越细，系统处理和对齐的成本也越高。
第二是游戏状态如何变化。作者将现有路线分为三类：状态藏在画面里、压缩在模型自己学出的内部表示中，或明确写成符号和文字。前两类较容易利用大量视频，却难以检查模型究竟记住了什么。显式状态可读、可验证，也更适合表达“同一刀因为敌人剩余生命值不同，结果也不同”这类规则，但它需要大量与视频逐帧对齐的状态数据。
第三是状态与画面的长期一致。常见做法是保存过去的画面，等镜头回到原处时再取出来参考。这对静态场景有效，但游戏世界一直在变化。建筑已经被破坏，直接取回旧画面，反而可能让它恢复原状。更进一步的系统需要维护“现在的世界是什么样”，包括镜头外仍在发生的变化，而不是只收藏过去见过什么。
第四是实时生成。作者提醒，实时不等于把所有延迟都压到最低。玩家转动视角后，画面应该尽快响应，这是控制延迟；但攻击命中必须等到动作真正进入相应阶段，这是结果延迟。若按键一落下，敌人立刻掉血，同样会显得不合规则。现有工作更多关注加快出帧和切换控制条件，对于结果应该在何时出现，仍缺少由规则明确约束的机制。
90 多小时数据，重点不只是录像
显式状态路线面临一个很实际的问题：普通游戏视频只有画面，很少同时告诉模型玩家按了什么、角色剩多少体力，以及敌人此刻正在执行哪个动作。
为此，作者为《Black Myth: Wukong》搭建了一套可扩展的数据引擎，集中采集首领战。论文报告的数据超过 90 小时，视频为 30 FPS，参与者具有不同熟练度和游玩风格。每一帧都对齐三类信息：键盘与鼠标动作、引擎导出的游戏状态，以及 RGB 画面和深度图。
状态记录包括相机、玩家和首领的位置与姿态，以及当前动画、已激活技能、生命值、体力、攻防属性和装备等。采集端使用统一时钟给引擎记录和视频帧加时间戳；出现掉帧、卡顿或不同数据流不一致的样本，会被整段丢弃。
作者还把难懂的内部编号和坐标转成两种文字标注。一种是固定字段的结构化描述，把一段时间内的动作和状态填入相应位置；另一种由 Qwen3-VL-235B-A22B-Instruct 根据抽样画面、动作和状态记录生成语义描述。论文设想，这些信息今后可以用来训练下一状态预测，也可以作为视频生成的条件。
为什么值得关注
这项工作的价值，不在于已经造出一个能够替代游戏引擎的模型。论文没有报告这样的成品。它更像是重新画了一张问题地图：可控操作、状态更新、长期记忆和实时生成看似是四组技术难题，真正把它们串起来的，是游戏状态。
这也给“视频模型将成为下一代游戏引擎”的趋势判断加了一道必要条件。会生成可探索画面，只说明模型掌握了部分视觉规律。一个真正可玩的世界还必须记得已经发生的事，依据当前条件计算后果，并在正确的时间呈现结果。说白了，它不只要会画，还要会判定。
局限与未知
- 论文主要贡献是分析框架和数据采集资源，没有提供模型基准、效果提升、实时帧率、交互延迟或长时一致性实验，不能据此判断显式状态方案已经优于现有路线。
- “超过 90 小时”为作者自报。论文未说明精确时长、训练与测试划分、标注质量、下载地址、公开许可或数据是否完整发布，因此不宜直接称其为公开数据集。
- 作者称状态来自游戏引擎，但材料不足以确认所有内部状态都被访问和记录。语义标注又由模型生成，其准确性也没有在论文所给材料中得到量化说明。