AI 读一篇长文时，先要把全文过一遍，建立后续回答所需的“记忆”；这一步叫 Prefill（预填充）。Qwen-3.5 采用的 GDN 是一种线性注意力：它把历史信息压进状态，避免逐词回看，但真正放到 GPU 上，未必天然跑得快。问题在于，中间结果反复进出 HBM——GPU 旁的高带宽内存——会把时间耗在搬数据上；状态又必须依次更新，长序列、小 batch（一次处理的样本数较少）或 TP（多张卡拆分模型计算）时，并行度不足。
Qwen 团队介绍的 FlashQLA 没有把所有步骤硬塞进一个大算子，而是把 GDN 的前向和反向流程各拆成两个融合算子，在两者之间加入序列并行预处理。这样既能复用数据、减少 HBM 读写，又能避免串行递推压低 GPU 利用率。它还会根据样本数、注意力头数和序列长度动态调整并行粒度，并利用门控衰减特性，以轻量预热替代昂贵的修正矩阵计算。团队自述，在 Hopper GPU 上，相比 FLA 的 Triton kernel，FlashQLA 前向加速 2—3 倍、反向约 2 倍；不过这是一场尚待展开的会议分享，材料也明确称方案不能覆盖所有场景，算子复用性仍有限。