你让 AI 写一份训练方案，它通常只能给你一段建议。这个项目更进一步：让 AI 真正提交训练任务、调用 GPU、检查结果，再根据它训练出来的模型好不好，反过来改进自己。换句话说，Agent 不只是在工具箱里找工具，也开始学习怎样改造另一个模型。
项目作者称，整套实验约花费 1300 美元，并公开了训练后的 LoRA 权重、Agent harness、任务与奖励代码、GPU 编排脚本，以及包括失败尝试在内的复盘。不过，成本和效果数字目前都来自作者自述，尚无第三方复现。
两层训练，像教练也要参加考核
这套系统有两个强化学习循环。强化学习（RL）就是让系统反复尝试，再依据奖励调整策略。
内层循环负责训练小模型。Agent 接到一个任务，例如教小模型处理需要多步查询的问题。它要生成训练环境、评分标准和 prime-rl 配置。prime-rl 是一个强化学习训练框架，负责在 Runpod GPU 上用 GRPO 训练 Qwen3-0.6B 或 1.7B。GRPO 是一种依据同组尝试的相对得分来更新模型的方法。
外层循环训练的则是这个 Agent。它采用 LoRA——只更新少量附加参数、比改动整套模型权重更省资源——进行训练。Agent harness，也就是包围模型的运行框架，为它提供文件编辑、查看基线成绩和提交任务等工具。
一次完整尝试中，Agent 先在受限沙箱里编写训练任务。任务通过格式与约束检查后，系统把它送到 GPU。小模型训练完毕，再接受隐藏评测。训练前后的成绩变化，最终成为外层 Agent 的奖励。
这一步是项目最有意思的地方：Agent 得分不取决于它把方案写得多漂亮，而取决于方案是否能运行，以及训练后的小模型是否真的进步。
奖励不只看最后一分
奖励函数——把结果换算成分数的规则——分成三部分。按作者披露的实际权重，任务能否顺利通过验证占 0.35，训练质量占 0.60，训练速度占 0.05。
训练质量同时考虑小模型训练后的绝对成绩，以及相对未训练基线的提升。这样做是为了避免 Agent 只挑一个本来就强的模型交差。速度只是一项很小的决胜项，而且训练成功后才计入。
作者把学习过程分成两个阶段。早期提升主要来自流程可靠性：Agent 少交无效配置，GPU 上跑死的任务也减少。此时总奖励升到约 0.26，但训练质量基本没有变化。之后，验证成功率稳定在约 0.75 至 0.80，任务质量分数才从 0.30升至0.41；隐藏评测的训练后成绩也从约 0.04 的噪声水平，进入持续的 0.22 至 0.48 区间。
整个外层训练共进行 54 步。作者称奖励从约 0.0 上升，峰值约为 0.63。每个外层 batch 会并行启动约 40 个真实的内层训练任务，最多使用 16 个 Runpod GPU pods。所谓约 1300 美元，正是作者为这轮实跑披露的估算。
它学到的是通用训练能力吗？
项目准备了六类任务，其中五类用于训练 Agent，第六类 triage 留作迁移测试。triage 模拟值班事故排查，需要跨工具关联服务、事故和部署信息。
在这类未参与训练的任务上，平均奖励从基础模型的 0.399 升至第 34 步的 0.545，但第 54 步又回落到 0.492。验证成功率最终达到 10/10，内层训练成功数则从第 34 步的 9/10 降到第 54 步的 8/10。这个结果提示能力可能迁移，也提醒我们不能只看中途峰值。
为什么值得关注
过去谈 Agent，常见画面是让模型搜索、写文件或调用软件。这里的动作本身变成了“训练另一个模型”：Agent 要选择训练设置、写出可执行任务，并承担训练结果带来的奖惩。
prime-rl 为这件事提供了底座。其官方仓库称，它支持异步 RL、Agent 与软件工程环境、监督微调、评测和多节点部署，也支持 Qwen3-VL 等多模态模型；官方还把扩展到 1000 张以上 GPU、训练万亿参数以上的 MoE 模型列为能力目标。MoE 是每次只启用部分“专家”参数的模型结构。不过这些规模数字在现有材料里没有配套基准，不能视为本文项目已经做到的成绩。实际使用 prime-rl 目前至少需要一张 NVIDIA GPU。
局限与未知
- “会训练模型”有明确边界。Agent 在预设任务、固定配置格式、隐藏评测接口和小模型范围内工作，并非能自主训练任意模型。
- 1300 美元缺少完整账单。材料没有列出 GPU 型号、使用时长、失败实验是否计入，也没有说明 Tinker 等资源是否按市场价核算。
- 奖励峰值 0.63 不等于通用能力提高。材料缺少重复实验、方差和对照组；迁移测试也在第 34 步后回落。此外，外层模型在项目材料中写作 Qwen3.6-35B-A3B，而 prime-rl 仓库列出的是 Qwen3.5-35B-A3B，现有信息无法判断前者是特殊版本还是笔误。