让代码 Agent 改一个项目,它常会反复贴出同一段代码、测试日志和旧方案。AgSpec 的想法很直接:别让主模型每次都逐字重写,而是把这些历史记录当作“现成草稿库”。它采用检索式投机解码——先从已有文本中复制可能的后续内容,再由主模型批量验收;猜中的部分可以直接采用,省下逐字生成的时间。
真正关键的不只是“多存一些文本”。AgSpec 同时检索当前会话、已打开的项目文件和全局资料,还会把文件预先转换成 Agent 实际输出的格式。例如生成代码补丁时,每行可能多出空格或减号;若只保存原文件,文字相同,模型看到的 token(可理解为生成文字的基本单位)却对不上。它还按不同 Agent 预设草稿长度上限,并根据验收结果动态调整,避免草稿太长、猜错后浪费计算。作者在两个代码仓库级多 Agent 基准上报告,相比普通逐字生成,吞吐量最高达到 4.37 倍(批量大小为 1)和 4.76 倍(批量大小为 16)。