一份团队奖金平均发给所有人，连中途添乱的人也会被当成功臣。推理模型训练也有类似问题：强化学习（RL）让模型按答案结果获得奖励，但常用方法会把同一份“信用”发给整段推理中的每个词元——模型读写文字的基本单位。于是，答案即使最终正确，其中偶然出现的错误计算、无关绕路或不连贯片段，也可能一起得到强化。作者把这种现象称为“正信用污染”。
他们提出 TACO：根据词元出现时的局部语境计算“尾部风险”，识别那些原本概率很低、又显得不可靠的选择。关键在于，它不会把所有罕见词元都视为错误，也不会直接切断其梯度；TACO 只调低高风险词元获得的正向信用，让偶发噪声逐渐减弱，同时保留真正有用的罕见探索继续积累奖励。作者称，在三个 LLM、八项数学与科学推理基准上，TACO 均优于 GRPO 类基线，并让长程训练更稳定；材料未提供具体提升幅度。