机器人把木桩搬到孔边，却怎么也插不进去，就像解题只做到最后一步：前面的阶段性得分让它觉得“已经不错”，最后那次精细接触又很难靠碰运气发现。这项工作瞄准的正是这种局部最优——找到一个还行但无法完成任务的做法。作者让 PPO（一种每轮只小幅调整策略的强化学习算法）不靠人类演示或预训练经验，继续学会更难的操作。
关键改动是给动作排“相对功劳”。普通 PPO 的评价器主要判断一个状态最终好不好；当所有尝试都停在同一处，各个动作便很难分出高下。新方法会在同一状态下采样多个备选动作，用能同时考虑状态和动作的评价器比较它们，再把实际动作相对备选项的优劣加入学习信号。它还为探索噪声设置下限，避免备选动作变得一模一样。
在 IsaacLab 的七自由度机械臂插桩模拟任务中，作者称普通 PPO 学会接近、抓取和抬起后便停滞，整个训练过程都没有获得插入奖励；加入相对动作信用后，策略能越过同一平台期并稳定完成插入。实验也显示，单独保留探索噪声并不足以可靠突破瓶颈。结果目前来自五个随机种子的单项模拟任务，真实机器人和其他连续操作仍待验证。