Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.119 — 2026-10-31
PAPER H 5 约 1 分钟

MoE推测解码要算专家搬运成本

MoE 推测解码不能只看猜中率:少搬专家权重,也可能被内核带宽抵消。

让小模型先猜几个词,再由大模型一次核对,通常能减少等待。但对混合专家模型(MoE——每个词只调用少数“专家”模块)来说,草稿并非越长越划算:词越多,可能要从显存搬来更多专家权重;即使相邻词调用同一专家、权重只读一次,负责去重的 GPU 内核也未必搬得够快。

Yuzheng Lan 把一次解码的耗时拆成“读取字节数÷内核有效带宽”,再据此选择最佳草稿长度。论文在修改后的 llama.cpp Metal、MLX-LM 和 llama.cpp CUDA 上发现,逐词读取的内核反而拥有更高带宽;因此,去重读取虽少搬数据,却只在每次核对 5 至 8 个词时更快,某些配置下甚至始终不占优。其预测在 12 种引擎、模型与上下文深度组合中,有 10 种把性能交叉点定位在相差一个核对长度以内;在 DeepSeek-V2-Lite 的 CUDA 实验中,对全部 22 个接受率设置,最佳草稿长度误差均不超过 1。结果说明,MoE 推测解码要同时计算“搬多少”和“搬多快”,不能只盯着猜中率或专家复用率。以上效果均为作者实验结果。


供稿材料 SOURCES — 1

← 返回 2026-10-31 · 学术板块