像助手先拟几句、主编一次审完，AI 也能靠“推测解码”更快作答：小型草稿模型先猜后续 Token——生成文本的基本单位，再由目标模型统一核验。问题在于，猜错的内容虽然不会交付给用户，起草和核验时却照样耗电。因此，更快不等于每个有效 Token 更省电。
作者在 H100、H200 GPU 上，以启用 CUDA graphs 的 SGLang 测试 5 种草稿方案、11 个模型和 5 类语料。最值得注意的是：批处理——把多名用户的请求凑在一起计算——本就能分摊读取模型参数的成本，批量增大后，推测解码可再节省的空间随之缩小。大型批次下，部分一次猜出整块内容的草稿器会让核验转为计算受限；若接受率偏低，即通过核验并进入答案的草稿比例不高，单位有效 Token 能耗反而上升。论文还发现，所有草稿器在对话上的接受率都低于代码，训练型草稿器在低资源语言 Romansh 上也低于英语。服务商若只盯延迟，可能把“省下的时间”换成更多无效推测的电力成本。