你想让机器人学会一种新的收桌方式。以往常见的办法，是先遥控机器人做一批示范，再重新训练；另一种办法，是把人类操作视频连同现场画面一起塞给模型，让它边看边做。前者成本高，后者会随着示范增多，带来越来越长的输入。
WAM-TTT 换了一个思路：先让机器人基础模型学会如何从人类视频中提取可执行的信息；真正部署时，用户只需示范一遍，系统就把这段视频写进一块可更新的“临时记忆”。机器人的主体模型不再训练，但这块记忆会调整，用来把原有能力引向当前任务。
这项工作来自 arXiv 论文《WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time》。以下方法、实验结果与局限均来自论文作者，尚无第三方复现或独立评测。
不是照着人的手臂抄动作
WAM-TTT 建立在世界—动作模型（World-Action Model，WAM）上。这类模型一边学习环境接下来会怎样变化，一边决定机器人该采取什么动作，可以理解为“先预想后果，再动手”。论文使用预训练模型 LDA 作为底座。
人和机器人的身体结构不同。人可以用五指抓杯子，机器人可能只有两指夹爪。直接把人的运动轨迹翻译成机器人动作，往往还要估计手部姿态、三维运动或重新映射关节。
WAM-TTT 不做这种逐动作模仿。它让模型观看原始的人类第一视角 RGB 视频，通过自监督视频预测学习其中的信息。所谓自监督，是让视频的前后画面自己组成练习题：根据前面的画面预测后面会发生什么，不需要人为标出每一帧对应的动作。
这些信息不会写回整个 WAM，而是进入视频处理分支中的轻量级 adaptive memory——一块可以快速更新的适应性记忆。论文采用 fast weights，也就是只为当前适配过程快速调整的权重。它更像一张临时技能便笺：主体模型保留原样，机器人执行时再从便笺里读取与当前画面相关的信息。
真正关键的是提前学会“看懂”
“机器人看人操作就能转向”只描述了部署阶段，不能理解成拿来一段视频就能即插即用。WAM-TTT 在此之前还有一次 human–robot meta-training，即使用人类与机器人配对数据进行元训练。元训练的目的不是教会某一个具体动作，而是教系统以后该怎样从人类示范中学习。
论文收集了 2,286 对人类与机器人操作片段，覆盖 9 项任务和三种机器人形态，包括 Unitree G1 人形机器人、Galbot 双指夹爪和 Galbot 灵巧手。人类视频由 GoPro 以第一视角录制，不使用手部姿态估计。由于人和机器人的动作速度可能不同，作者按照任务进度，把两边处在相近阶段的画面对齐。
训练时，系统同时做两件事。第一件是预测人类视频后续画面，抓住物体和场景怎样变化。第二件是 key–value memory reconstruction，即“键—值记忆重建”：把人类画面中的线索写成可查询的记忆，并训练机器人画面去取回相应信息。可以把它想成给示范制作索引。机器人看到当前场景时，不必重播整段视频，而是用当前画面作为查询，找到示范里最相关的内容。
外层训练再用配对的机器人视频和动作检查：从人类视频写下的记忆，是否真的能帮助机器人生成可执行行为。这样，系统提前校准了“人类怎么做”和“机器人怎么做”之间的接口。
到了现场，只更新一小块记忆
部署时进入测试时训练（test-time training）：模型遇到具体新任务后，利用现场数据临时适配。用户提供少量未标注、没有机器人动作的人类视频，系统仍用视频预测和记忆重建这两个目标更新 fast weights。
此时，预训练 WAM、动作专家、记忆的固定投影层等都保持冻结；变化的只有视频侧适应性记忆。更新完成后，这块记忆也会固定下来，供机器人执行任务时反复读取。因此，“模型冻结”不等于整个系统状态不变，WAM-TTT 的适配恰恰发生在新增的记忆分支上。
这种安排试图避开两种成本。一是无需为每个新任务再采机器人动作或进行完整的任务微调。二是无需把不断增长的人类示范长期留在输入上下文里。示范被压进参数化记忆后，还可以重复用于后续执行。
46.2%说明了什么
作者在 9 项真实机器人操作任务上评测，包括收桌、倒水、递饮料、盖章和多步煎牛排等。每项任务分别在标准机器人隔间和未见过的家庭环境中测试。后者同时改变灯光、桌面高度和物体，不是只改变一个因素。
指标是 progress，也就是任务进度：完整完成记为 100%，只做到部分预先定义的子目标则获得相应的部分分数。每个“任务—环境”组合测试 25 次。
在更难的家庭环境中，WAM-TTT 的 9 项任务平均进度为 46.2%。同一个 LDA 底座、不使用人类视频和 TTT 记忆时为 32.5%，差距是 13.7 个百分点。直接把部署时的人类视频放进上下文的 WAM-ICL 只有 7.1%，比 WAM-TTT 低 39.1 个百分点。这组对照最能支持论文的核心判断：关键不只是“给模型看视频”，而是把视频转成经过适配的记忆。
WAM-TTT 在 9 项任务中取得 7 项最高分，并在 Flip Steak 上并列。但它并非处处占优：Stamp Paper 只有 8.3%，低于原始 LDA 的 33.3%。作者认为，这项任务对印章姿态的几何关系要求很严，而人类视频没有明显纠正家庭环境带来的错位。
消融实验也显示，各环节不能随意拿掉。在 Table Bussing 上，完整方法达到 100.0%；去掉测试时适配后是 40.0%，改用通用的轻量微调方法 WAM-LoRA 后是 30.0%，去掉人机元训练后是 9.0%。在 Swap Place 上，对应结果分别为 88.9%、74.1%、0.0%和0.0%。这说明收益不仅来自更新了少量参数，也依赖预先建立的人类记忆与机器人控制之间的接口。
为什么值得关注
机器人基础模型的目标，是用一个经过大规模预训练的通用模型处理多种任务。真正落地时，难题往往不是模型会不会抓取，而是怎样低成本适应具体家庭、物体和用户偏好。
WAM-TTT 把一部分成本从“再采机器人示范并重新训练”，转向“让用户在现场做给机器人看”。更重要的是，它把适配位置从模型主体移到预留的记忆分支：通用能力放在冻结的底座里，临时需求写进可替换的记忆。这提供了一条值得继续验证的产品路径——未来的机器人模型或许不只需要更大的预训练，也需要给部署阶段留下明确的“适配座位”。
局限与未知
- 这不是免训练方案。它依赖 2,286 对人类—机器人片段进行元训练，而且要求两边覆盖相近的技能阶段；配对错位会削弱适配信号，现有损失不会主动报警。
- 适应性记忆能表达什么，受元训练时固定下来的结构和投影限制。论文尚未实证划出边界：新任务偏离元训练分布多远后，观看人类视频会失效。
- 部署输入目前只有第一视角 RGB 画面，不使用手部姿态、接触关系或三维场景线索。实验也只报告论文团队自己的真实机器人评测，能否在更多任务、设备与长期运行中保持效果，仍待独立验证。