Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.125 — 2026-11-06
PAPER 约 1 分钟

长上下文腐烂,未必怪长度

实验显示:长输入未必拖垮检索,真正麻烦的是相似信息争抢注意力。

让 AI 从一大叠档案里找一个人的电话号码,直觉上,档案越厚越容易找错。但这项研究发现,麻烦可能不在“厚”,而在里面有多少张长得像正确答案的纸。作者研究的是长上下文检索——让模型从一次读入的大段文字中找回指定事实,并把材料长度与内容干扰拆开测试。

实验固定正确证据的位置和总长度,只更换周围文字。在 Qwen2.5-1.5B 上,填入无关的中性内容时,即使扩展到 32K Token,准确率仍为 0.97 至 1.00;换成与证据格式相似的陈述,准确率降至 0.11 至 0.21。Token 是模型处理文字的基本单位。更关键的是,只放入一条“同一问题、不同答案”的竞争陈述,损失就扩大 9 至 110 倍,竞争者越多,表现越差。

模型内部也出现同一条线索:注意力——模型给输入中不同位置分配权重的机制——留给正确证据的份额,可解释最多 58% 的损失差异;输入长度最多只能解释 8%。这些数字均为作者在五个开放模型、126,473 次试验中的自述,且 32K 的中性填充结果只适用于其中一个模型。它提示长上下文优化可以换个靶子:不只压缩字数,更要减少相似候选之间的竞争。


供稿材料 SOURCES — 1

← 返回 2026-11-06 · 学术板块