Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.014 — 2026-07-18
PAPER 约 1 分钟

MoE投机解码开始计算专家成本

EcoSpec 不只看草稿命中率,还把 MoE 的专家调用成本算进解码决策。

让小模型先替大模型猜几个词,再由大模型一次核对,通常能省时间。但在 Mixture-of-Experts(MoE,混合专家模型)里,每个词可能被分给不同的“专家”子网络。草稿即使很准,一旦把许多专家都叫来,加载权重和搬运数据的成本也可能抵消加速效果。

这篇论文提出 EcoSpec,在挑选待验证的草稿路径时,不只考虑候选词被接受的概率,还预测它会额外激活多少专家。它会优先选择既可能命中、又能复用当前专家集合的候选,从而减少论文所说的“专家散射”。方法只调整验证前的草稿选择,不改变大模型的标准验证规则。

作者在 DeepSeek-V3.1、Qwen3-235B-A22B 和 GPT-OSS-120B 上测试,报告相对现有投机解码基线最高分别达到 1.47×、1.62× 和 1.50× 的端到端解码加速。真正值得注意的是,它把“猜得准不准”之外的真实硬件成本,也纳入了解码策略。


供稿材料 SOURCES — 1

← 返回 2026-07-18 · 学术板块