老显卡跑大模型，有时不是算不动，而是软件给它派了不会做的活。llama.cpp 的多 Token 预测（MTP——一次提出多个后续文字候选，再验证哪些能采用）可能在旧款 NVIDIA GPU 上误选 BF16 数值格式，最终触发 cuBLAS 底层矩阵运算库崩溃。这项补丁正是为这条解码路径补上兼容判断。
它的处理很直接：显卡支持 BF16 就继续使用；不支持但擅长 FP16，就退到 FP16；Kepler 等更老的架构则改用兼容性更高、代价也更大的 FP32。这样，Kepler、Maxwell、Pascal 和 Turing 世代的显卡便有机会使用 MTP，同时不改变新卡的选择。
作者在四张超频 Tesla K40c（Kepler）上，以 Qwen3.6 35B A3B、Q4XL 量化测试：关闭 MTP 约为每秒 17.5 个 Token（模型生成文字的基本单位），启用双 Token 预测后约为 25 个，原版 llama.cpp 约为 22 个。上述结果来自作者自测；材料未披露其他旧架构显卡的实测数据。