在普通电脑上跑大模型，回答常常一个字一个字地慢慢往外蹦。mistral.rs 0.9 想加快的正是这个过程：解码——模型读完问题后，逐个 token（可理解为文字片段）生成回答的阶段。它与 llama.cpp 都是本地推理引擎，负责加载模型、管理内存并执行生成计算。
作者 EricBuehler 称，使用 Qwen3 4B 的 Q4_K 量化版本测试时，mistral.rs 在 x86 的 Sapphire Rapids 和 ARM 的 GB10 上，所有已测上下文长度都快于 llama.cpp，最高达到 1.8 倍。Q4_K 是一种约用 4 位表示模型权重的格式，可减少内存和计算需求。团队还称，优化覆盖 AVX2、AVX-512 与 NEON——这些指令能让 CPU 一次处理多组数字；比较时也分别为两个引擎挑选了每个测试点的最佳配置。
这让 mistral.rs 成为 CPU 本地推理中值得实测的替代方案。不过，目前材料只给出了作者自报的 Qwen3 4B 结果，尚不足以说明它在其他模型和硬件上也能保持同等优势。