一条长提示词突然进来，就像收费站为一辆大货车临时封路：AI 正在逐字回答的其他请求也会被拖慢。工程上常见的解法，是把预填充（先处理输入、建立内部状态）和解码（随后逐个生成 token）分到两组 GPU。但 Mostafa Ibrahim 指出，这种“推理解耦”并不是普通集群的默认答案。
问题在于，拆开之后，KV cache——模型为避免重复计算而保存的上下文状态——必须跨节点传输；GPU 数量较少时，又无法分配“半张 GPU”，取整造成的闲置会吃掉专业化分工的收益。文中援引 Doubleword 的分析称，配置均衡时，解耦方案的吞吐量只是追平共置方案；小规模部署真正得到的主要是分别调整延迟目标的灵活性，而非更高吞吐。
作者因此建议，多数团队先试分块预填充：把长输入切成小段，与解码请求交错执行，不新增 GPU 池，也不搬运 KV cache。文中援引 TNG Technology Consulting 的测试称，标准 vLLM 开启该功能后，总 token 吞吐量提高了 50%。这不能彻底消除干扰，但对普通规模集群，往往是成本更低、也更务实的第一步。