Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.078 — 2026-09-20
PAPER 2 信源 约 1 分钟

世界变化后,旧经验何时该忘

机器人遇上新身体,旧经验并非越多越好:该忘多少,取决于变化大小与是否会重现。

机器人换了载荷或电机磨损后,同一个指令可能产生不同结果。此时,训练记录就像一叠旧错题:继续全盘复习,可能把模型拉回过时规律;全部扔掉,又会浪费仍有用的经验。两项工作把问题推进了一步:世界变化后,机器究竟该忘什么、何时忘。

第一项工作 CAWM 让 DreamerV3 根据自身预测误差发现动力学突变,再用 CUSUM——一种持续累加异常偏差、超过阈值便报警的方法——触发清理。它保留已经学会的表示和策略,只从经验回放缓冲区中逐步淘汰旧记录。作者在模拟行走任务中发现,面对重力加倍和执行器增益减半,这比被动继续训练恢复更快,也避开了重建世界模型带来的第二次性能下跌;不过相关对照仅有三个随机种子,且部分实验按已知变化时刻触发。

第二项工作补上边界:遗忘更适合幅度大且永久的变化;若旧动力学会回来,保留历史反而有益。作者用“年龄—陈旧度 AUC”衡量记录越旧是否越可能失效,并指出策略取决于变化幅度及动力学如何演化。换句话说,持续适应不只是更新模型,也要判断过去何时已成为负担。


供稿材料 SOURCES — 2

← 返回 2026-09-20 · 学术板块