消费级显卡跑 MoE，常像厨房现点现取食材：显存放不下全部“专家”权重，只能把一部分留在系统内存，轮到谁再经 PCIe 搬进 GPU。结果显卡常在等数据，而不是计算。Reddit 用户 zyxciss 尝试让模型预判下一 Token 会调用哪些专家，并趁当前 Token 仍在计算时提前搬运。
具体说，他复用模型的 MTP（多 Token 预测）模块：它原本会草拟后续 Token，这里又被用来推测下一步的专家路由。作者对 llama.cpp 做了测量：沿用上一 Token 的专家，命中率只有 20.7%；MTP 引导的预取在 top-8 候选下达到 78%，top-16 达到 90%，但候选越多，占用的传输带宽也越高。另一个可利用的现象是，256 个专家中最常用的 64 个覆盖了整段记录里 51% 的调用，可考虑常驻显存。
这组数据说明，预测或许能把一部分 PCIe 等待藏在计算背后。不过作者报告的当前速度约为 36 Token/秒，约 200 Token/秒只是权重全在显存时的理论上限；帖子描述的是正式实现前的测量，并未证明实际系统已经达到这一速度。