假设你每天都要让 AI 给邮件分类:每封都请求一次远端大模型,既要等待网络,也会反复付出调用成本。Yuntian Deng 提出的“训练式编译”,想把这类固定任务一次性教给小模型,以后在本地重复运行。
具体做法是:先让教师模型——负责示范答案的较强模型——按自然语言要求批量生成训练样例,再用这些样例训练 LoRA adapter。它像装在通用模型上的专用附件,只调整少量参数;所有任务共用冻结的 Qwen3-0.6B,每项任务保存自己的附件和提示模板。生成样例与训练仍在托管服务完成,但编译后的新输入不再发送给教师模型。
最值得注意的是准确率与等待时间的交换。在专挑旧版快速编译器难题的 FuzzyBench-Hard 上,作者报告语义正确率从 22.4%升至 83.6%,编译时间则从 3.5 秒增至 50.9 秒。这里的正确率由 GPT-5.5 判断语义是否相符,并非逐字匹配。换句话说,它省掉的是此后每次调用远端大模型的依赖,代价是先花约一分钟“制作工具”。