你让学生一边回答“下一个词是什么”，一边猜“再往后三个词是什么”。本意是让他看得更远，也能一次多写几个答案。可如果后几道题给出的纠偏方向又吵又乱，学生不仅没学会提前规划，连眼前这一题也可能受到干扰。
这正是论文《Multi-Token Prediction Done Right》讨论的问题。多 Token 预测（Multi-Token Prediction，MTP）会在普通语言模型之外增加多个预测头，同时猜更远的几个词。它既能提供额外训练信号，也能充当推测解码的“草稿员”：先一次提出几个词，再由主模型批量核验，以减少逐词生成的等待。
作者 Jayden Teoh 认为，标准 MTP 的训练信号里混进了一项低信噪比残差。它不仅遮住真正有用的部分，还会干扰常规的下一个词预测（Next-Token Prediction，NTP）。论文据此提出 Soft-MTP，把这项残差从关键训练路径中拿掉。需要先说明：目前证据来自这篇论文及作者实验，尚不能把它写成已经被多方确认的通用“训练漏洞”。
有用信号原来一直藏在里面
训练模型时，梯度就是参数该往哪里调整的纠偏箭头。标准 MTP 使用交叉熵——当模型给正确答案的概率太低时施加惩罚。论文证明，这个交叉熵梯度可以精确拆成两部分。
第一部分是 KL 自蒸馏信号。KL 散度用来衡量两套概率分布相差多远；“自蒸馏”则是让 MTP 预测头模仿模型自己的 NTP 判断。这个目标与推测解码很合拍：MTP 草稿最终要由 NTP 头验收，草稿员越了解审核者，提交的词就越容易通过。
第二部分是残差。它来自针对单个正确词的交叉熵梯度，包含不可消除的抽样噪声。作者的解释是，模型变大、训练更久后，NTP 自身的预测误差会下降，但单个答案带来的抽样噪声不会跟着消失。因此，残差中的有效成分越来越弱，噪声却留在原地。
实验支持了这个判断。作者发现，残差的信噪比明显低于 KL 部分，而且模型越大，差距越宽。尽管如此，它仍占到进入共享主干的 MTP 梯度约 80%。进一步的方向分析显示，沿 KL 部分调整会降低 NTP 损失；沿残差调整则持续抬高 NTP 损失。换句话说，这不只是杂音，它给出的纠偏箭头还经常与眼前任务反向。
巧处不是增加目标，而是重新接线
最直接的办法，是显式计算 NTP 与 MTP 两套完整概率分布之间的 KL 散度。但语言模型要在整个词表上给每个词打分，这会产生词表大小的 logit 矩阵——也就是 softmax 之前的原始分数表。保存这些矩阵很占显存，还无法直接沿用常见的 fused cross-entropy kernel，即把多个计算步骤合并起来、避免中间结果落入显存的训练组件。
Soft-MTP 没有显式计算 KL。它利用一个前提：NTP 与 MTP 共享同一个线性输出头。作者通过 straight-through gradient routing——前向计算保持数值不变，只重新安排反向梯度经过哪里——组合两边已经存在的交叉熵梯度，精确恢复 KL 梯度。
可以把它理解成重新接线。模型照旧算 NTP 和 MTP 的交叉熵；输出头仍接受面向真实数据的交叉熵训练；但 MTP 预测头和共享主干只收到更干净的 KL 自蒸馏信号。论文称，核心实现只需一行代码改动，不增加参数，同时支持 DeepSeek-style 的串行 MTP 与 Meta-style 的并行 MTP。不过，“一行改动”描述的是作者给出的实现方式，不代表所有训练框架都能原样接入。
改动很小，收益有多大？
作者训练了 167M、332M、689M 和 1.2B 参数的 LLaMA-style 模型。主要实验使用三个 DeepSeek-style MTP 头，在 FineWeb-Edu 上训练约 315 亿 Token；Token 是模型处理文字的基本单位，可以是一个字、词或词的一部分。
在推测解码测试中，Soft-MTP 在五类文本、四种模型规模上都优于标准 MTP。五个领域平均下来，每次核验接受的长度提高 1.8%—2.2%，相对逐词生成的加速幅度再提高 1.4%—1.5%。这是稳定但不夸张的增益。它说明草稿分布确实更接近负责核验的 NTP 分布。
训练表现也随规模呈现出作者预期的趋势。Soft-MTP 在所有测试规模上都取得更低的 NTP 困惑度；困惑度可粗略理解为模型面对下一个词时有多拿不准，越低通常越好。从 689M 参数开始，它的 MTP 困惑度也低于标准 MTP。1.2B 模型的平均 zero-shot 准确率——不针对测试任务额外训练就直接作答的准确率——从标准 MTP 的 56.80 提高到 57.31。
经过数学与代码数据微调后，Soft-MTP 在八项结果中的七项领先标准 MTP。比如 HumanEval 的 pass@64 从 40.85 提高到 43.90，MATH-500 准确率从 23.20 提高到 25.00。不过，显式计算 KL 的 KL-MTP 在数学微调上仍然领先 Soft-MTP，后者并非每项指标都最好。
为什么这件事值得现在看
MTP 已不只是一个辅助训练技巧。它一头连着预训练，希望模型从更远的未来词中获得学习信号；另一头连着推测解码，直接影响生成速度。训练目标里一个看似次要的梯度分量，因此可能同时影响模型能力与推理效率。
Soft-MTP 更值得注意的地方，是它没有用更多参数或更昂贵的计算换结果。在 1.2B 实验中，它与标准 MTP 的矩阵乘法量相同；使用 fused cross-entropy 时，两者峰值显存同为 107.0 GB，吞吐分别为每秒 49,748 与 49,783 Token。显式 KL 方案的峰值显存则为 128.1 GB，吞吐降至每秒 46,990 Token。
这让论文的主张相当具体：标准 MTP 不是缺少自蒸馏信号，而是好信号已经存在，却被高噪声残差盖住了。与其再加一套昂贵目标，不如把现有梯度送到更合适的位置。
局限与未知
- 结果仍来自单篇论文。最大实验规模为 1.2B 参数，不能据此确认同样趋势会延伸到更大的前沿模型。
- “精确恢复 KL 梯度”依赖 NTP 与 MTP 共享线性输出头；换一种结构后，结论不能直接照搬。
- 论文在作者设置下测得几乎相同的训练成本，但不同框架、并行方式和硬件能否保持同样开销，仍需实际验证。