Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.126 — 2026-11-07
NEWS 约 1 分钟

SpecOPD让推测解码并行试错

Qwen让草稿模型并行试错,把推测解码的训练监督吞吐提高至16.09倍。

IMAGE — r/LocalLLaMA 日榜

让 AI 写一句话,通常要一个词一个词往后算。推测解码像是先让“小助手”草稿模型猜一串词,再交给大模型批量验收;猜得越准、连续通过得越多,生成就越快。问题是,训练这个小助手时,传统方案仍要按顺序完成“起草—验证”,监督数据来得不够快。

Qwen 提出的 SpecOPD 把这条训练链路改成并行试错:从参考文本的不同位置出发,让当前草稿模型同时生成多条独立分支,再由目标模型提供监督。它还把分支打包成“提议树”,共享前缀计算,避免相同开头反复重算。这属于 On-policy 蒸馏——用草稿模型当下真正会生成的内容训练它,使训练更贴近实际解码时的错误。

据作者披露,SpecOPD 在覆盖 8B、27B 和 125B 目标模型的实验中,监督词元吞吐最高达到顺序方案的 16.09 倍,平均接受长度最高提高 41.45%,相对逐词生成最高加速 3.56 倍。这些均为作者自述结果,但“并行收集更贴近实战的训练信号”这一思路,值得推理引擎开发者留意。


供稿材料 SOURCES — 1

← 返回 2026-11-07 · 开源板块