Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.005 — 2026-07-09
NEWS 2 信源 约 5 分钟

透视模型思考:J-Space打开全局工作区

用 Jacobian Lens 观察答案成形轨迹,并尝试在模型自信答错前分流。

IMAGE — r/LocalLLaMA 日榜

你问 AI 一个事实问题,它很快给出流畅答案。但在文字出现前,模型究竟是早早锁定了答案,还是在几个候选项之间摇摆,最后临时挑了一个?Anthropic 的新研究试图观察这段过程:把模型内部跨层流动的信息整理成一个可查看的“全局工作区”。随后,一名开源模型开发者把这套方法用于 Gemma 和 Qwen,并尝试在模型自信答错前发出警报。

这里观察的不是模型的“真实思想”。更准确地说,它展示的是内部表征和候选答案的变化轨迹。本文所依据的两则材料均为 Reddit 帖子,没有附上 Anthropic 论文或官方博客正文;实验数字也全部来自开发者自述,尚无独立复现。

不只看答案,还看答案怎样成形

这项工作属于机械可解释性(mechanistic interpretability):它不只分析模型最后说了什么,还试图从神经网络的激活和连接中,还原答案形成前的信息流动。

其中的核心概念是 Global Workspace,即“全局工作区”。这个词来自认知科学,指分散模块的信息汇入一个全系统都能使用的共享空间。放到模型里,它被用来描述跨越不同层和文本位置、负责整合信息的内部通道。

Anthropic 提出的观察工具叫 Jacobian Lens。Jacobian 是一个导数矩阵,用来衡量一组输出对一组输入的微小变化有多敏感。用在这里,可以追踪某处内部状态会怎样影响后续输出。直观地说,它像是在答案写到纸面之前,逐层查看哪些候选项正在获得支持。

据两则 Reddit 帖子的交叉转述,Anthropic 发布了相关研究和 lens 代码。不过,其中一则帖子把演示制作者称为 Anthropic 的“partner”,另一则只表明开发者自行测试并发布了仓库与演示,因此不能确认双方存在正式合作。

从观察窗口到错答分流器

开发者 RenewAi 随后为 Gemma 4 E4B、Gemma 4 12B、Gemma 4 12B abliterated、Gemma 4 26B MoE 和 Qwen 3.6 27B 拟合了 lens,并公开代码仓库、演示和相关数据。

他把工作区轨迹概括成两类。所谓“clean workspace”,是某个候选答案较早胜出,各层判断大致一致;“noisy workspace”则是多个候选项在中后层仍然竞争,直到最后一层才选出一个流畅答案。“干净”“嘈杂”只是对轨迹特征的形容,不代表模型真的感到平静或困惑。

真正有意思的变化,是开发者不再只问“模型里面发生了什么”,而是问:这些信号能否预测模型即将答错?他在每个模型上使用了 500 道 TriviaQA 问题。TriviaQA 是这里用于检验事实问答正确性的题目集合。

按作者报告,在 Gemma E4B 中,被归为 clean workspace 的高置信回答正确率为 77%,noisy workspace 则为 42%。这说明在这组实验里,即使模型表面上都很有把握,内部轨迹仍可能提供额外线索。

作者又用熵的变化、后段熵、候选答案排名和层间一致性等轨迹特征,训练了一个小型逻辑回归路由器。这里的“路由器”是判别器:根据内部信号决定请求是否继续回答、重新推理,或交给外部核查。材料末尾被截断,因此完整产品流程并未披露。

Gemma 有效,Qwen 没有

在用于比较错答识别能力的 AUC 指标上,Gemma 4 12B 的输出概率基线为 0.736;只用 workspace 特征升至 0.824;两者结合达到 0.843。Gemma E4B 上也出现类似变化:从输出概率的 0.711,提高到 workspace 的 0.773,结合后为 0.787。

但 Qwen 3.6 27B 给出了反例。它只看输出概率时达到 0.856,只看 workspace 特征降到 0.646,两者结合也只有 0.838。换句话说,workspace 特征没有改善原来的输出置信度基线。

这个失败很重要。它表明 J-Space 暂时不是一套可以直接套到所有模型上的“幻觉检测器”。按作者自己的总结,workspace 特征在所测 Gemma 模型上都优于单独使用输出置信度,但这一结果没有泛化到 Qwen。

为什么值得关注

模型通常只把最终答案交给用户。J-Space 试图把答案形成过程中的内部轨迹也变成信号。这样一来,可解释性就不只是事后画图,还可能参与系统决策:轨迹清晰时继续本地回答,轨迹混乱时转去复核。

这也是“幻觉路由器”这个说法真正有价值的地方。它未必需要证明模型为何犯错,只要能稳定识别高风险回答,就可能成为实际系统中的一道分流关卡。不过,本次实验严格说预测的是 TriviaQA 错答,不能直接外推为对所有类型幻觉的检测。

局限与未知

  • 所有正确率和 AUC 都来自同一名开发者,材料没有披露数据划分、训练与测试隔离、置信区间或重复实验。
  • Anthropic 原论文正文不在供稿材料中,因此 Jacobian Lens 的具体实现、干预方式和适用边界仍无法核实。
  • Gemma 与 Qwen 的结果明显不同。workspace 信号究竟反映通用规律,还是依赖具体模型结构与训练方式,仍需更多模型和独立实验回答。

供稿材料 SOURCES — 2

← 返回 2026-07-09 · 开源板块