给本地 AI 塞进一份长文档后，最磨人的往往不是它逐字回答，而是迟迟不吐出第一个字。llama.cpp 的这项改动瞄准的正是这段等待：预填充——模型生成前先通读整段提示词的阶段。它不提升 Gemma 4 的能力，而是通过计算图优化，显著加快 E2B、E4B 配置的提示处理。
关键做法是提前删掉后续层不再需要的非输出词元行。部分共享层不会写入 KV cache——保存已读上下文中间结果的缓存，因此没必要继续搬运和计算这些数据。作者在约 1.38 万词元的提示词、27 个分块上测试，称统一 KV cache 下可完整获得裁剪收益，且没有计算图重新分配；拆分 KV cache 时则会关闭裁剪。材料未给出具体提速倍数，跨不同后端的数据复制问题也仍需处理，因此“显著提速”目前应视为该未合并 PR 的测试结论。