Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.027 — 2026-07-31
PAPER H 7 约 1 分钟

稀疏注意力的索引器成了瓶颈

PIVOT让相邻查询共用一次全文筛选,避免索引器吃掉稀疏注意力省下的时间。

读长报告时,你不会每看一句话,都从第一页重新翻一遍重点。但一些稀疏注意力系统正是这样做的:它只让当前 token(文本位置)关注少量前文,却先让索引器——负责打分和挑选位置的“检索员”——逐一扫描全部前文。文本越长,真正的注意力计算虽然少了,筛选过程反而可能成为新的性能税。

PIVOT 抓住了一个具体的重复:相邻查询选出的 Top-k token——相关分数最高的 k 个位置——高度重合。它把一组相邻查询合成一个“代理查询”,只完整扫描前文一次,得到略大的候选集;随后再为每个查询在这个小集合里重新打分。更激进的 PIVOT-Reuse 直接让整组复用同一批结果,PIVOT-Refine 则保留逐查询精挑的步骤,以换取更高保真度。

这项工作的提醒比某个加速数字更重要:系统优化掉一块大计算后,原本不起眼的准备步骤就可能浮成瓶颈。作者称,PIVOT 无需训练,可直接替换 DSA 的索引器,并在 DeepSeek-V3.2、GLM-5.1及 LongBench、RULER 测试中维持原索引器的准确度;但供稿文本未保留具体加速与延迟降幅,本文不据此给出数字。


供稿材料 SOURCES — 1

← 返回 2026-07-31 · 学术板块