你让本地 AI 读一份很长的文档。模型本身或许装得下，但对话越往后，显存还是不断被吃掉。原因是它会保留 KV cache——生成文字时记下此前 token（模型处理文字的基本单位）的部分计算结果，避免每次从头再算。上下文越长，这叠“计算草稿”通常越厚。
DKV（DifferentialKV）想压缩的就是这笔开销。它是一个面向本地大模型长上下文推理的开源框架。更值得注意的是，作者不只提出了一套压缩思路，还把它做成了 CLI——Command-Line Interface，即在终端里输入命令操作软件。按作者在 Reddit 的介绍，用户可以不写自己的集成代码，直接开始试验。
不过，当前公开信息主要来自项目作者自述，尚无第三方基准测试、复现结果或用户实测。下面提到的功能和效果目标，都应按这一信源边界理解。
它怎样给“草稿纸”瘦身？
据作者介绍，DKV 组合了四种办法：anchor-based representations、joint low-rank compression、exact residual preservation，以及 sparse routed attention。
其中，低秩压缩可以理解为：用一份规模更小的数学表示，近似原本庞大的数据。DKV 采用联合低秩压缩来减少 KV cache 的内存需求。代价是这类方法通常需要在压缩率、运行速度和精度之间取舍，但作者此次没有给出足以展开这些权衡的具体数据。
稀疏路由注意力则减少模型需要查看的位置。普通注意力会广泛比较上下文中的 token；稀疏注意力只挑选一部分参与计算，从而降低长上下文的计算和存储负担。
至于 anchor-based representations 和 exact residual preservation，现有供稿只列出了名称，没有披露它们如何配合、锚点怎样选择，或残差具体保存到什么范围。尤其是“exact residual preservation”只是项目方对其中一个技术环节的表述，不能扩写成整体无损，更不能据此断言模型精度完全不下降。
从论文思路走到可操作工具
我们此前报道 Bonsai 时，讨论的是用低比特量化压缩模型权重，也就是先让模型本体变小。但模型装进设备，只解决了第一笔内存账。长对话和长文档还会让 KV cache 随上下文增长。DKV 转向的正是这第二笔账。
它的现实意义也在这里：缓存压缩研究即使指标漂亮，若需要用户自行改造推理系统，普通本地模型使用者仍很难尝试。作者称，DKV 已提供 CLI、MLX backend（让框架在 MLX 环境中运行的后端）、技术报告和完整开源实现。项目已经开发约五个月，目前仍在持续改进并征集技术反馈。
这让 DKV 至少具备了从技术方案走向工程工具的形态。如果它确实能在可接受的速度和精度代价下减少缓存占用，有限显存的设备就可能承载更长的上下文。不过，作者没有提供可由独立信源确认的压缩率、显存节省幅度、速度变化或精度结果，因此现在更合适的说法是“值得验证”，而不是“已经解决”。
局限与未知
- 所有信息均来自项目作者及同一项目方材料，尚无第三方复现或用户实测。
- CUDA backend 已存在，但作者明确称仍在验证阶段，不能视为成熟可用。
- llama.cpp、vLLM 和 SGLang 只是作者征求建议时列出的潜在集成方向，并非当前已经支持。CLI、MLX backend、许可证及实际可运行状态也仍需刊发前核验。