让 AI 读一摞长文档时，它会保留一份 KV Cache——生成回答时随手查阅的“草稿纸”，免得反复计算。文本越长，这份草稿越占显存。量化、剪枝和合并等压缩办法都想给它瘦身，但过去常用不同模型、任务和系统各测各的，数字很难横向比较。
Agrawal 和 Mayer 因此搭建了一套工作负载感知基准：把 KIVI、TurboQuant、SnapKV 和 CaM 放进较统一的条件，用 Llama-3.1-8B-Instruct 与 Mistral-7B-Instruct-v0.3，覆盖多文档问答、单文档问答、少样本学习和摘要；既看回答质量，也测输出吞吐量、首个词元等待时间和实际压缩率。
最值得注意的结论是：压缩率高，并不能可靠预测端到端表现。作者报告，KIVI4 在不同模型上的质量最稳定，SnapKV 的长上下文吞吐量最强；CaM 在部分问答任务上收益较大，却会随任务明显波动。换句话说，KV Cache 优化没有通吃方案，部署时得先看具体工作负载，而不能只盯着“省了多少显存”。