Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.079 — 2026-09-21
PAPER 约 1 分钟

草稿模型何时复制、何时生成

SwitchSD 读取主模型的内部信号,动态决定草稿该复制还是生成。

写代码或套用模板时,AI 常能直接复用前文;但在数学推理里,同一个变量名再次出现,不代表后面也该照抄。投机解码——先用便宜方法猜出多个 Token(文字的基本单位),再让主模型一次验收——因此面临两难:复制几乎不花起草成本,却容易抄错;小模型拟稿更稳,却要额外计算。论文分析称,在推理任务中,误触发占复制尝试的半数以上,猜错后立刻被拒,反而拖慢输出。

作者提出 SwitchSD:它不只看文字是否重复,而是读取主模型计算时形成的隐藏表示,并用一个轻量线性探针判断模型此刻是否真有“复制意图”。有把握时从上下文复制,否则切回 EAGLE3 等神经草稿方法。作者报告,这个探针识别复制状态的 AUC 达 0.99——可理解为区分两类状态的综合能力很高;在 Llama、Qwen 系列及多个基准上,吞吐量相较 EAGLE3 等强基线最高提升 15%。这些效果来自论文自述,关键价值不只是换一种草稿,而是让模型自身决定何时值得复制。


供稿材料 SOURCES — 1

← 返回 2026-09-21 · 学术板块