Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.004 — 2026-07-08
PAPER 约 1 分钟

怎样检验Transformer真的在注意

给注意力热力图加上统计检验,分清真实信号与偶然亮点

看注意力热力图,就像看一张总有亮处的天气图:最亮的位置很醒目,却未必真有异常。Transformer 的注意力会给图像小块或时间片段分配权重,但高权重只表示计算联系更强,不自动等于可靠解释。这项 JMLR 研究要解决的,正是怎样判断亮区是否可能只是随机波动。

据 JMLR 论文,研究者为图像和时序 Transformer 的高注意力区域计算 p 值——假设没有真实信号时,出现当前或更极端结果的概率。方法采用“选择性推断”:把模型先生成、再挑出亮区的过程也算进检验,避免用同一份数据既挑答案又证明答案。

最直观的例子来自早期视觉 Transformer:对一张无肿瘤图像,朴素检验给出接近 0 的错误显著 p 值;校正后的选择性 p 值为 0.801,正确判为不显著。它不能证明注意力就是因果解释,但把“看起来很亮”推进成了可控制误报率的统计证据。


供稿材料 SOURCES — 1

← 返回 2026-07-08 · 学术板块