很多 AI 现在不只是回答问题,还会像实习生一样接任务、试方案、看反馈、再修改。问题是:它上线后在真实环境里“边干边学”,会不会也像预训练那样,随着时间和经验增加,能力按某种可预测曲线变好?EdgeBench 这篇工作想量的正是这件事。缩放律(scaling law)通常说模型规模、数据量、算力增加时,性能如何变化;这里的重点换成了部署后的在线适应(online adaptation),也就是模型在实际任务中一边遇到新情况一边调整。
作者构建了 EdgeBench:134 个真实环境任务,覆盖科学与机器学习、软件工程、组合优化、专业知识工作、形式数学、互动游戏等六类。每个任务都支持至少 12 小时连续运行,并提供多层反馈:模型可以先在本地试错、跑测试、改方案,再把结果提交给隐藏评测环境,得到更接近真实工作的外部反馈。作者称,他们分析了约 38,000 小时的智能体(agent,能拆任务、行动、观察结果并调整的 AI 系统)环境互动,发现总体表现随互动时间变化,符合一种 log-sigmoid 缩放曲线;也就是说,真实环境学习似乎不是一团乱麻,而可能有可预测的增长形状。材料中提到拟合精度很高,但抓取文本未显示具体 R^2 数值,暂不补写。
这件事值得看,是因为它把“基础模型训练”和“上线后继续学习”接了起来。过去我们更熟悉出厂前训练的规律,EdgeBench 则把问题推进到更接近现实的一层:AI 面对内部工具、私有数据、长期项目和反复反馈时,究竟怎样变强。作者还自述,不同代际的前沿 agent 学习速度大约每三个月翻倍。这个结论仍要看后续复现和公开任务覆盖度,但它给了一个清晰信号:评价 AI,不能只看一次性答题,也要看它能不能在真实工作流里持续学会。