Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.026 — 2026-07-30
PAPER 约 1 分钟

技能越多,Agent也可能越差

新增技能既会救回任务,也会弄坏旧能力;只看平均分,会漏掉这笔“退化税”。

给 Agent 多塞几本“操作手册”,它未必更能干。比如,它原本会自己核对表格,加入一套现成流程后,反而照章操作、跳过检查。问题在于,平均成功率只展示最终涨跌:新增成功与新增失败会互相抵消,看不出技能究竟帮了多少,又弄坏了多少。

研究者在两项办公自动化基准、三种模型与运行框架组合上,比较同一任务加入技能前后的结果,共覆盖 5,832 次运行。他们把“原先成功、加技能后失败”称为回归,也就是能力倒退;结果观察到 553 次新增成功,同时出现 324 次回归,后者抵消了前者的 59%。论文称,表现最好的技能库,优势主要不是救回更多任务,而是较少破坏原本能完成的任务。

执行记录还显示,技能即使没有被调用,仅凭名称和说明出现在上下文中,也可能改变 Agent 的行为;预设流程还可能挤掉对输入的正确理解或输出核验。换句话说,评测技能不能只报平均增益,还要把收益与“退化税”分开核算。


供稿材料 SOURCES — 1

← 返回 2026-07-30 · 学术板块