你给 AI 一道数学题，不先教标准解法，只让它反复作答，并在每次答完后告诉它“对”或“错”。它能不能自己摸索出一套推理方法？Ring-Zero 把这项实验做到了万亿参数模型上。它值得关注，不只因为模型大，而是因为团队试图回答两个更实际的问题：规模扩大后，强化学习是否更有效；模型能否既想得深，又不把答案写成漫长而混乱的草稿。
这里先拆掉标题里最容易误解的词。“零数据”RL（zero RL）不是完全不用数据。它指强化学习阶段不依赖人工撰写的标准推理过程，从预训练基础模型直接开始训练。模型仍然需要题目、奖励和判分依据，也早已见过预训练数据。论文后期甚至使用参考答案和另一个模型来判断答案是否正确。因此，更准确的说法是“无人工推理示范的强化学习”，而非 AI 凭空学会推理。本文数字和效果均来自 Ring-Zero 论文，尚无独立信源交叉验证。
先让它敢想，再教它收住
强化学习（Reinforcement Learning, RL）像做题后看得分：模型先回答，再根据奖励调整，让高分行为以后更常出现。可验证奖励则由程序自动判分，例如检查数学答案是否匹配，不必请人逐条评价。
Ring-Zero 从两款未经监督微调的 Ling-2.5 基础模型出发。一款是总参数 1T、每次计算激活 63B 参数的混合专家模型；另一款总参数 104B、激活 7.4B 参数。混合专家模型可以理解为内部有许多“专科小组”，每次只调用其中一部分。实验使用 320 张 H200 GPU。
训练分四步。第一步故意鼓励探索。基础模型起初不习惯写长推理，许多关键推理词出现概率很低。团队采用截断重要性采样，让这些低概率词仍能得到学习信号，并把最长回答窗口从 4k 逐步扩到 64k token。token 是模型处理文字的基本单位。
但“敢想”很快带来副作用：回答越来越长，出现重复、绕圈和数值不稳定。第二步因此让模型给自己“剪稿”。它先对同一道题生成多个答案，挑出最短的正确推理，再自行识别冗余片段，最后用这些精简答案重新训练原始基础模型。这叫自蒸馏——模型把自己较好的做法整理后，再教给自己。
第三步继续强化学习，但把损失从按 token 累加改为按完整样本归一化，避免长答案天然获得更强训练信号。第四步把题目分成 Low、Medium、High 三档，分别配 4k、16k、64k 的训练预算，让模型学习按题目难度分配思考长度；部署时，用户也可以通过系统提示指定模式。
万亿参数带来了什么
论文在七个数学基准上测试模型，包括 AIME 2024—2026、三套 HMMT 试题和 IMOAnswerBench。评价采用 pass@1，也就是看模型一次作答的正确率，并对 64 次运行取平均。
第一阶段结束时，1T 模型在 AIME 2026 上达到 84.2%，自蒸馏后为 88.1%，第二阶段强化学习后升至 92.5%。在 IMOAnswerBench 上，相应成绩是 59.3%、63.8% 和 72.7%。论文据此认为，多阶段训练带来了连续提升。
规模对比也很直观。第一阶段训练后，104B 与 1T 模型在 AIME 2026 上分别为 65.3% 和 84.2%；在 HMMT February 2026 上分别为 50.3% 和 66.2%。这支持作者的判断：更大的预训练模型在 zero RL 中有更高的性能上限。不过论文没有给出两款模型完整训练成本的可比分析，因此还不能判断这些提升是否“划算”。
分档推理则展示了速度与成绩的交换。在 AIME 2026 上，Low、Medium、High 模式分别得到 68.8%、90.8% 和 91.4%。但 High 模式仍低于第二阶段的峰值 92.5%。作者把下降归因于超长高质量数据不足，以及三种长度联合训练产生的负迁移——不同训练目标彼此拉扯。
不只看答案对不对
论文还提出从三个角度评价思维链（Chain-of-Thought, CoT，即模型写出的逐步推理）：人能否读懂、较弱模型能否学会、推理是否简洁。
在“能否学会”这项测试中，团队用 10 万条 Ring-Zero 推理记录训练较小模型，而对照的 DeepSeek-R1 蒸馏使用了 80 万条。Qwen2.5-32B 的成绩为 78.4 对 72.6，Llama3.3-70B-Instruct 为 74.5 对 70.0。作者据此认为，Ring-Zero 的推理轨迹更适合迁移。
在五款模型都答对的 AIME 题目上，Ring-Zero 平均使用 6,368 个 token，不到其他模型的一半。可读性则由另一个大模型两两比较判断；作者报告 Ring-Zero 对四个基线均占优，但材料没有给出具体胜率。这里尤其要谨慎：大模型裁判并不等于真人读者评价。
“涌现”不等于获得心智
作者把训练过程概括成两个阶段：先“发现”，即解锁原本不常出现的推理路径；再“打磨”，即在新边界内持续优化。论文还观察到分步骤排版、自我核验、并行尝试等行为，并称其出现了 anthropomorphism 和 context anxiety。能力涌现只表示某种行为在规模扩大或训练推进后明显出现，不代表它凭空产生，更不证明模型拥有人的认知或焦虑。
局限与未知
- 奖励并非全程只靠确定性程序。后期难题由 Qwen3-Next-80B-A3B-Instruct 结合参考答案给出二元判断，可能引入裁判模型偏差。
- 可读性、所谓“高级认知行为”及 context anxiety 的判定主要来自作者观察；材料未提供清晰定义、人工评审或独立复现。
- 论文展示了规模收益，却没有提供总训练算力、成本收益比和完整消融。它证明了这条路线在数学任务上可行，还没有证明“零数据”推理可以普遍扩展到难以可靠判分的任务。