Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
PAPER 约 1 分钟

深度研究Agent也会被带偏

FORGE显示:深度研究Agent可能被坏资料带偏整条研究路线。

你让一个 AI 资料助理研究某个开放问题,它不只是搜几篇文章再总结。它会先拆问题,再一轮轮查资料、改计划、写报告。FORGE 关注的风险就在这里:如果早期混进几份设计过的坏材料,问题可能不只是“引用了一句错话”,而是 AI 接下来要查什么、怎么组织证据,都被慢慢带偏。

作者把这种攻击叫 FORGE(Fabricated Orchestrated Reasoning chain for aGent Exploitation)。它的做法有两层:单篇坏文档里,不直接硬塞结论,而是编出一条看似合理的推理链,让目标说法像是“推出来的”;多篇坏文档之间,再互相配合,形成一种“好像多方证据都指向同一结论”的效果。换句话说,它攻击的是研究轨迹和规划层,而不只是检索污染——也就是往资料堆里混假线索。

论文还提出 PRISM 指标,用来衡量最终报告里被污染的说法有多重,不只看攻击是否成功。按作者实验,在 25 个查询中,Network FORGE 用 5 篇注入文档达到 26.4% PRISM;在 10 个查询的防御子集上,Root Query Anchoring(把后续子任务重新锚定到最初问题)把 PRISM 从 38.5% 降到 18.3%。这些数字来自作者自述。值得注意的是,摘要还提到一种“深度迁移”:被污染内容会从显眼的叙事框架,慢慢变成报告里的事实前提。


供稿材料 SOURCES — 1

← 返回 2026-07-10 · 学术板块