让 AI 连续搜索、调用工具再交答案，像让人做一项很久才出成绩的工作：只看最终成败，很难知道究竟是哪一步做对了，更难判断那一步里哪些文字真正有用。这篇论文提出 Multiscale Policy Optimization（MPO，多尺度策略优化），把奖励分成两本账：先判断每一轮完整行动的贡献，再细分到该轮生成的各个 Token——也就是文字的最小生成单位。
这个拆法并非只靠直觉。作者分析一次搜索智能体训练中的 2,048 条轨迹、16,323 轮互动，发现各轮平均价值的差异，解释了价值波动的中位数 89.5%；在 93.8% 的轨迹里，轮与轮之间的波动也大于同一轮内部。MPO因此先跨轮传递长期奖励，再用局部修正区分轮内 Token，同时按整轮的新旧策略概率差异校正训练权重。作者称，它在搜索、工具使用和自动化任务，以及 4B 与 30B-A3B 模型上都稳定优于强基线；供稿未提供具体提升幅度。