Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
NEWS 约 1 分钟

Anthropic研究双用知识开关

Anthropic测试把危险领域知识做成可拆模块,尝试从拒答走向能力治理。

IMAGE — Anthropic (via Google News)

现在的 AI 安全更像是在门口设保安:用户问危险问题,模型尽量拒答,输入输出也会被分类器检查。但问题在于,模型内部仍然“知道”那些东西。Anthropic 这项与 AE Studio 合作的研究,想试一个更底层的办法:能不能给双用知识装开关。双用知识指既能做好事也能被滥用的知识,比如网络安全、病毒学;前者能修漏洞,也能攻击系统,后者能帮助疫苗研究,也可能帮助设计危险病原体。

他们提出的方法叫 GRAM,全称 Gradient-Routed Auxiliary Modules,可以粗略理解为给模型加几个可拆的“知识抽屉”。具体说,它在 Transformer——大模型常用的神经网络架构——每一层里加额外神经元,并按危险知识类别分成模块。训练普通文本时,模型照常学习;训练到某类双用数据,比如病毒学时,通用参数会暂时冻结,只允许对应的病毒学模块更新。这样,相关知识尽量沉到这个模块里,而不是散进整个模型。

这件事值得看,是因为它把安全问题从“模型愿不愿意回答”推进到“模型是否具备某类能力”。按 Anthropic 的说法,他们在实验中设置了四类双用知识,因此一次训练后,理论上可组合出 16 种开关配置。边界也很清楚:Anthropic 明说这些结果仍是初步的,GRAM 没有用于 Anthropic 的生产模型,也不确定未来是否会用。


供稿材料 SOURCES — 1

← 返回 2026-07-10 · 科技板块