模型压得再小，如果常见工具跑不顺，就像行李已经装进小箱子，却过不了登机口。Ternary Bonsai 2 是三值模型——大量权重只有三个可能取值，能减少存储和计算开销，但特殊编码也要求推理软件专门适配。如今，它终于补上了实际部署的一环：据作者 Any_Bus9205 在 Reddit 发布的指南，ik_llama.cpp 已能在 CPU 上运行该模型，也能通过原生 CUDA 卸载，把计算直接交给 NVIDIA 显卡。
此前的麻烦来自权重格式和 GPU 算子的差异。上游文件使用 TQ2_0 或 TQ1_0，Prism 使用 PQ2_0；其他分支在处理 Hadamard 符号张量时，CUDA 卸载可能遇到瓶颈或出错。最新改动加入了 PQ2_0 的原生 CUDA 内核，还提供脚本，可在数秒内把上游权重无损重排为 PQ2_0：保留原始三值，不重新量化。作者称，全量 GPU 卸载不再出现 token 损坏，也不用退回更重的量化格式；CPU 端则可通过 -rtr 1 运行时重排，加快提示词处理。
这意味着 Bonsai 2 不再只是在浏览器和专用分支里展示压缩成果，而是开始接入更常见的本地推理工具链。不过，供稿没有提供速度、显存占用或跨硬件测试数据，目前能确认的是兼容性链路已经打通。