你想让 AI 帮你处理一项跨软件工作：先整理文件，再读取表格，最后把结果填进另一个应用。难点不只是“会不会点按钮”，而是去哪里找足够多、足够真实的练习题。人工逐条演示很贵；让 AI 凭已有能力自己出题，又容易反复练熟悉的内容。
CUA-Master 想改变的正是这套数据生产方式。它先从开放世界吸收新的操作知识，再把真实工作流拆成可以重新组合的零件，自动生成任务、执行任务，并根据失败反馈继续训练模型。说“自己造数据”大体没错，但要加一个限定：它不是完全凭空自学，而是以教学视频和开放世界语料为外部种子。
本文数字和效果均来自论文作者的实验，尚无第二个独立信源交叉验证。
两个循环，一套数据飞轮
CUA 是 computer-use agent，即电脑操作智能体。它不只是调用专用接口，而是像人一样看屏幕、点击、输入，也可以操作命令行。网页、软件版本和桌面布局千差万别，因此这类模型尤其缺少覆盖广、能够验证结果的交互数据。
CUA-Master 把改进过程设计成嵌套的双循环。
外循环连接“世界—数据—模型”：系统从外部寻找新工作流，把它们变成训练数据；模型训练后暴露的新弱点，又决定下一轮去哪里取材、补什么能力。内循环负责数据本身：先从真实资料提取种子任务，再把种子扩展成更多可控任务。
这就是论文所说的递归改进——当前版本参与制造下一轮任务和经验，新数据再训练下一版模型。它像自己出题、做题、订正，但题目源头仍不断接入外部世界，避免只围绕模型已经知道的内容打转。
先从教程视频里“拆动作”
第一步叫 open-world seeding，即开放世界播种。研究者建立了包含 8 个大类、36 个子领域和 650 多个应用的分类体系，再用“tutorial”“how to”“guide”等关键词，从 YouTube、TikTok 和 Bilibili 检索教学视频。系统会去重并过滤广告、娱乐内容和只顺带提到软件的视频，还会判断画面是否清楚、操作过程能否重建。
一段教程不等于一个干净的训练样本。它可能夹着开场白、口播、广告和幻灯片。因此，系统先把视频切成连续、可观察的操作片段，再为每段提炼任务目标。
接下来是 visual-semantic dual-path trajectory reconstruction，即“视觉—语义双路径轨迹重建”。语义路径从字幕里的“点击”“滚动”“然后”等词寻找动作；视觉路径从菜单弹出、页面跳转或内容更新等画面变化寻找动作。两条线索在时间上重合时，系统才把它列为候选操作，再结合动作前后的画面复核、拆分或合并。
直观地说，它不是只听讲解员说了什么，也不是只盯着屏幕哪里动了，而是把“话”和“画面变化”对上，尽量还原实际操作轨迹。
把工作流变成可拼装的零件
视频提供了真实感，却仍然覆盖不了操作组合的巨大空间。CUA-Master 因而把种子任务进一步拆成 reusable primitives——可复用的能力原语，也就是任务积木。
每块积木不只记录“做什么”，还带着所属应用、执行前提、环境要求和验证规则。例如，一项操作只有在特定文件或界面状态下才能开始，完成后也要有办法判断结果是否正确。语义相同的积木会合并；如果前提或验证方式不同，则保留为不同版本。
系统随后按约束组合这些积木。研究者可以控制积木数量和涉及的应用数量，从而调节任务复杂度，生成单应用或跨应用任务。存在冲突的前提不会被硬拼在一起。相比直接改写一句任务描述，这种做法更像按施工条件组装流程：任务难度、依赖关系和验收方式都更明确。
做错了，不必从头再来
自动生成任务之后，还要让智能体真正执行并收集轨迹。长任务最浪费的情况是：前面几十步都正确，最后一次误操作却让整条记录报废。
CUA-Master 为此加入 feedback-guided snapshot-rollback retry，即“反馈引导的快照回滚重试”。系统在稳定节点保存环境快照。验证失败或执行过于低效时，检测器寻找最早出现状态偏差的位置，给出基于执行结果的反馈；环境再回到此前最近的有效快照，保留正确前缀，只重做出问题的后半段。
论文报告，在跨应用任务的一组设置中，这套方法的成功率接近 50%，从头重跑的基线为 14.6%；在更极端的配置下，两者分别为 18.7%和 0%。这是作者所称“提高数据合成效率”的主要证据之一。
27B 模型交出了什么成绩
CUA-Master-27B 以 Qwen-3.5-27B 为初始模型。前三轮使用 SFT——监督微调，也就是用验证过的正确轨迹教模型模仿——各轮加入约 63K、38K 和 14K 条任务与轨迹，最后累计约 115K。最终一轮再使用约 12K 个高质量任务做 RL，即强化学习，让模型根据真实环境中的任务结果继续调整策略。
作者在统一环境配置、动作接口和评测标准下重新测试了基线。CUA-Master-27B 在四项评测中分别得到：OSWorld Verified 80.2、OSWorld 2.0 36.9、WeaveBench 43.9、Agents’ Last Exam 25.0。与同为 27B 规模的专用模型 UI-Mate-27B 相比，四项分别高出 2.6、12.9、25.6 和 11.8 分。
混合操作方式尤其关键。CUA-Master 可以交替使用 GUI——鼠标、键盘和屏幕界面——与 CLI——命令行。在 WeaveBench 上，混合模式得分 43.9，GUI-only 为 6.6，CLI-only 为 11.5；在 Agents’ Last Exam 上，混合模式把 GUI-only 的 5.9 提高到 25.0，同时少走 26.7%的步骤。两种操作方式在复杂任务里不是替代关系，而是各做擅长的部分。
递归训练也呈现逐轮增益。作者报告，OSWorld Verified 和 WeaveBench 从早期到后期均提升超过 25 分；当监督微调在较简单任务上趋近饱和后，最后的强化学习又让 OSWorld 2.0 和 Agents’ Last Exam 各提高约 15 分。不过，论文也发现：让每一轮模型自己充当下一轮的数据标注器，虽有提升，但增益有限；更强的标注模型带来的改善更大。这说明“递归”并不等于完全封闭的自我进化。
为什么值得关注
这项工作的重点不只是又训练出一个电脑智能体，而是把数据扩展变成一条可循环的生产线：外部教程补充新知识，原语组合扩大任务空间，验证器检查结果，快照回滚降低失败成本，模型弱点再决定下一轮收集方向。
如果这套思路经得起复现，它可能让电脑智能体的数据增长不再主要依赖人工逐条录制，也不必只靠模型在自己的知识边界内反复生成经验。更准确地说，它尝试把“开放世界取材”和“可控自动扩展”接到同一个飞轮里。
局限与未知
- 所有效果目前都来自作者论文。虽然作者称基线采用一致协议重新评测，但还没有独立复现；分数也不能脱离运行预算、工具条件和评测版本，与其他报道中的数字直接横比。
- 教程视频的筛选、轨迹重建和原语提取依赖标注模型。论文显示更强标注模型效果更好，这也意味着数据飞轮并未摆脱外部模型能力的影响。
- 递归循环可能放大错误。论文展示了逐轮增益和回滚机制，但材料没有给出长期运行时错误累积、数据污染或收益何时饱和的完整证据。