让本地 AI 按 JSON 或固定字段批量填表，速度直接决定程序要等多久。Basalt 0.2.0 是一款本地大模型推理引擎——不训练模型，而是负责把现成模型放到显卡上高效运行。作者自测，在 RTX 5090、RTX 5060 Ti 16GB 和 128GB 内存的组合上，Qwen 3.8 Flash Next 的结构化输出两次达到 603.7 和 594.2 tok/s；普通文章生成约 300 tok/s。
快的代价也开始成为焦点。Basalt 使用 NVFP4——一种以较低精度换取更小占用和更高吞吐的 4 位格式。作者以 BF16 全精度版本为参照，称默认 DQ6_K 方案与参照模型“首选下一个词”的一致率为 91.65%；质量稍高的 DQ8 为 92.25%，但文章生成慢约 7%。社区追问的是：这些指标能否代表实际回答质量，以及高速是否会把人更快带向错误答案。现有数据来自作者自测，且不同引擎使用各自工具测量，并非严格的统一横评。