让 AI 当科学家,难点不只是把实验做完,还要先判断什么值得读、值得做。IdeaTaste 测的正是这种“研究品味”:研究者把模型能看到的文献截断在 2025 年,让它写研究提案,再与同一学术群体在 2026 年实际发表的论文比较,像只给去年的报纸,看它能否猜中今年学界真正投入的方向。
这套评测覆盖六个语言模型、四个研究领域和超过 9 万份提案。作者报告,模型在引用文献上的匹配度约为人类水平的 26%,在研究想法上只有 18%,没有一组模型达到人类水平的一半。更具体地说,AI 已能碰到相近的问题和动机,却很少提出人类后来采用的具体方法与研究计划;增加领域背景,或把提案数量扩大到 17 倍,也未明显补上差距。盲审专家认为,AI 提案与真实论文差距最小的是表达,最大的是预期成功率。换句话说,AI 不只是要“多想点子”,更要学会把方向变成值得下注的方案。