你让 AI 解一道它其实不会的题，它往往不会说“我做不到”，而是写出一长串像模像样的步骤，最后郑重交出一个错答案。问题不只在于答错：推理越长，算力花得越多，错误也越容易藏在貌似严密的过程里。
论文《Knowing When to Quit》把这种现象称为“徒劳推理”（futile reasoning）——模型面对超出自身能力的问题，仍继续生成连贯步骤，却没有朝正确答案取得实质进展。作者提出 CaRL（Capability-aligned Reinforcement Learning，能力对齐强化学习），尝试教模型在探索无果后及时停手。
这项研究来自一篇 arXiv 预印本。下述效果均为作者在特定模型和任务上的实验结果，尚不能视为对所有大语言模型和真实场景的独立验证。
真正危险的不是不会，而是不肯停
研究先用 Countdown 任务观察模型如何失败。这类题要求模型用给定数字和运算构造目标值，难度可以逐级调整，也不依赖外部知识，适合单独考察推理能力。
一个例子是：用 [1,5,6,8,9] 构造 0.3。模型尝试多种组合后，写出一个实际等于 0.6 的表达式，却声称结果是 0.3。它不是简单地卡住，而是用错误步骤补出了一个貌似完整的结论。
作者测试了 Qwen3-8B、Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B 和 DeepSeek-V3.2。未经额外提示时，这些模型在各难度下几乎都不拒答；即使明确提醒“不会就承认”，最难任务上仍有超过 80% 的失败尝试没有及时停下。DeepSeek-V3.2 在常规设置中偶尔会自行表示怀疑，但比例不到 1%。
失败也不只是反复绕圈。作者将徒劳推理分成三类：表面合理但暗藏算术错误或重复使用数字的“似是而非推理”；不停尝试新组合的无尽生成；以及机械重复相同步骤。第一类占主导，在不同难度下达到 57%—68%。随着题目变难，机械重复从 13%降至 2%，模型反而更常编出复杂、隐蔽的错误论证。
这正是能力校准（calibration）出了问题。校准衡量模型表现出的把握与真实正确率是否相称。作者以 Qwen3-32B 为例，多次采样同一道题，并按模型能否稳定答对划分能力边界。结果中，“不会却作答”的过度自信占 20%，“会做却拒绝”的过度保守占 3.4%，前者约为后者的 6 倍。在更难的任务上，该拒绝时确实拒绝的比例从 100%降到不足 30%；与此同时，容易题上又出现约 10%的能力损失。
错误还更贵。过度自信的回答带有明显的长尾，生成长度通常是恰当拒答的 2—3 倍。模型不仅猜错，还为猜错写了一篇长证明。
CaRL怎样教会模型收手
强化学习（reinforcement learning，RL）会根据行为得到的奖励或惩罚调整策略，像按练习结果纠正动作。普通推理训练通常把正确答案记为 1，错误和拒答都记为 0。这样一来，模型没有理由认为“承认不会”比“硬猜一个答案”更好。
CaRL首先重排奖励：正确作答最好；遇到超出能力的问题时，明确拒答优于继续生成错误结论。这叫能力校准奖励塑形，即直接把“适时停手”写进训练目标。
但只有奖励还不够。原始模型很少主动拒答，训练时便难以碰到可供学习的拒答案例。CaRL的关键一步是 hindsight refusal augmentation，中文可理解为“事后拒答增强”。每当模型产生一个失败样本，系统保留它在最终答案前的推理过程，插入“抱歉，我无法解决；以下是我尝试到的地方”之类的拒答开头，再让模型简短总结已经尝试过什么。
于是，同一段走向失败的上下文会出现一组对照：继续硬答，奖励较低；识别困境并停下，奖励较高。它教的不是见题就退，而是允许模型先探索，再在判断无法推进时退出。
少编，也确实少算了
作者在 Qwen3-8B 和 Qwen3-14B 上训练 CaRL。分布内测试使用 Countdown，分布外测试使用未参与训练的 Sudoku（数独），后者需要更长的推理链，也用来检查模型是否只是学会了逢难必拒。
在 Countdown 上，Qwen3-8B的徒劳推理率从 65.5%降到 7.0%，准确率从 59.67%变为 61.00%；Qwen3-14B则从 78.57%降到 1.00%，准确率从 63.25%升到 67.25%。论文采用的“可靠性”指标把正确、拒答和错误分别计为 1、0.5和 0；两种模型经 CaRL 训练后，该指标分别从 0.6663升至 0.7915、从 0.6719升至 0.8348。
单纯奖励正确答案的 Standard RL 并没有解决问题。Qwen3-8B的准确率虽提高 4.4个百分点，徒劳推理率却升到 99%。只改变拒答奖励、但不加入事后拒答增强的 RLunk，在 8B模型上同样维持 98%—99%的徒劳推理率。这说明“告诉模型拒答有奖励”与“给它足够多的拒答学习样本”是两回事。
在未见过的 Sudoku 上，CaRL仍未完美：8B和14B模型的徒劳推理率分别为 43.02%和 36.00%。不过，它们都低于原始模型的 89.41%和 80.46%。另一种用静态样本做监督微调的 RFT 看似更少徒劳推理，却在 Sudoku 上退化为近乎全部拒答，准确率为 0。这提醒我们，拒得多不等于校准得好。
CaRL也减少了生成量。在最难的 Countdown 设置中，它平均生成 6,156个 token——token 是模型处理文字的基本片段——而 RFT 为 9,133个，降幅接近 33%。在 AIME 2024和 GPQA 两项通用测试上，CaRL的准确率分别下降 0.8和 1.5个百分点，但可靠性上升，生成长度分别减少 16.1%和 25.1%。因此，论文所谓“不牺牲效用”，更准确的理解是：准确率略有变化，换来了更高的综合可靠性和更短的输出，并非所有指标都毫无损失。
为什么值得关注
选择性预测允许模型只回答有把握的问题，其余明确弃答。它必然减少回答覆盖面，但可能让留下的答案更可信。CaRL的重要之处，是把这件事从一句提示语变成训练目标，并把失败过程重新利用为“何时该停”的教材。
这也改变了推理算力的讨论。更多计算只有在模型仍可能取得进展时才有价值。若它已经越过能力边界，继续生成既不会自动带来正确答案，还可能用更长、更顺滑的文字掩盖错误。会推理固然重要，会终止推理同样是能力的一部分。
局限与未知
- 实验主要集中在 Countdown 和 Sudoku 这类不依赖外部知识的算法题。现实任务常把知识缺口与推理能力混在一起，CaRL能否判断这种边界，论文尚未验证。
- “拒答”由明确的拒答语句识别，可靠性指标又预先把拒答计为半分。不同场景如何给正确、拒答和错误定价，会直接影响结论。
- 这是 arXiv 预印本中的单项研究。它展示了在两款 Qwen3模型上的可观改善，但还不足以证明这种训练能普遍迁移到所有模型与高风险应用。