Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.020 — 2026-07-24
PAPER H 11 约 1 分钟

Agent强化学习先解决等慢车

WAR按负载切换生成与调度策略,减少同步Agent训练被最长轨迹拖住的空等。

同步训练Agent,像一队人必须等最慢的同伴到齐才能出发:多数任务早已完成,只要一条交互轨迹特别长,其他计算设备就只能空等。WAR瞄准的正是这段等待。这里的轨迹,是Agent反复观察、调用工具和行动留下的完整记录;复杂任务可增长到数万词元,因此这个瓶颈正变得更突出。

WAR的关键不是固定采用一种加速办法,而是看现场有多忙。负载较低时,它用SuffixDecoding复用已完成轨迹里的相似文本片段,作为后续生成的“草稿”,且不需要额外模型。负载较高、GPU已接近满载时,它改做全局调度:综合缓存复用、轨迹进度和服务器负载来分配请求,减少重复计算,并在合适时优先处理较短轨迹。KV Cache可以理解为模型处理长文本时保存的中间笔记,调度到合适设备就不必重抄。

作者在veRL之上实现约7000行Python代码,并用Qwen3-32B、16张H100 GPU和生产Agent任务数据评估。论文称WAR在不同负载下均能提高长上下文轨迹采样吞吐量,但供稿文本缺失具体提升数字;它最值得注意的启发,是先判断系统究竟“闲”还是“堵”,再决定优化生成速度还是排队方式。


供稿材料 SOURCES — 1

← 返回 2026-07-24 · 学术板块