Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.002 — 2026-07-06
NEWS 约 5 分钟

模型越强,工具反而越难用?

新款 Claude 会给编辑工具凭空加字段:任务做对了,却因格式不合规而被拒绝。

你让 AI 按表格填写地址。街道、城市都写对了,它却自作主张加了一栏“附近地标”。如果系统规定只能填写固定栏目,这张表仍会被退回。

开发者 Armin 在智能体式编程工具 Pi 上遇到的,正是类似问题。据 Simon Willison 转述,较新的 Claude 模型 Opus 4.8 和 Sonnet 5 有时会在调用 Pi 的 edit 工具时,向嵌套的 edits[] 数组添加接口没有定义的字段。编辑内容通常正确,但调用仍被 Pi 拒绝,模型只能重试。

这只是一个特定接口上的个案,却点出了智能体系统的一处关键脱节:模型更强,不等于它更可靠地遵守工具规则。本文事实均来自 Willison 对 Armin 经历的二手转述,没有原始记录或复现实验。

AI 不是直接在改代码

这里先要解释“工具调用”(Tool Calling)。模型并不直接操作电脑。它会按约定格式输出工具名称和参数,再由外部程序执行搜索、编辑文件等动作。

这套约定叫 Schema——接口参数的结构契约。它规定哪些字段可以出现、字段是什么类型,以及它们如何嵌套。可以把 Schema 理解为机器使用的固定表格:内容理解得再准确,填错栏目也不能提交。

Pi 是一款用于智能体式编程的工具。模型可以通过它提供的编辑接口操作代码库。按照 Willison 的转述,Opus 4.8 和 Sonnet 5 生成的编辑意图通常没有问题,问题出在参数里多了凭空创造的键。Pi 严格检查 Schema,因此拒绝执行并要求重试。

这属于“结构化输出幻觉”:模型生成了看似合理、接口却从未定义的字段。它和编造事实有些相似,只是错误发生在 JSON 等结构化参数中。对聊天来说,多写一句可能无伤大雅;对程序接口来说,多一个字段就可能让整次操作失败。

“更差”到底差在哪里?

Armin 测试的旧款 Claude 模型没有出现这一现象,Opus 4.8 和 Sonnet 5 却会出现。因此,“新模型更差”在这里有一个很窄的含义:它们在 Pi 这一特定 edit Schema 上的合规表现更差。

这不代表新模型的编辑能力下降。材料反而明确说,编辑内容通常正确。失败发生在最后一公里:模型知道要改什么,却没有完全按第三方工具要求的格式表达出来。

也不能据此判断 Claude 的整体工具调用能力变差。材料没有给出样本量、失败率、旧模型名单或完整 Schema,更没有覆盖其他工具。标题里的反差很醒目,但证据只支持一个具体案例。

会不会是“学得太专”了?

Armin 提出一种解释:较新的 Anthropic 模型可能接受过针对 Claude Code 内置编辑工具的专项训练,或许包括强化学习——通过结果反馈,让模型逐渐偏向更有效的行为。

问题在于,不同编程工具的编辑接口并不相同。Claude 的编辑工具采用 search-and-replace,也就是指定要查找的内容,再提供替换内容;OpenAI Codex 使用 apply_patch 机制,以补丁形式描述修改。如果模型对某套接口形成了很强的使用习惯,这种习惯可能串到 Pi 等第三方工具上,导致它输出对另一套接口看似合理、实际不存在的字段。

这个解释目前只是推测,并非已证实的因果关系。现有材料没有展示模型添加了哪些字段,也没有证明这些字段来自 Claude Code 的接口设计。

真正值得关注的是工程边界

智能体能力要落地,至少有两层要求:模型要理解任务,也要遵守执行器的接口契约。前一层进步,并不会自动带动后一层。模型越主动、越倾向补全自己认为有用的信息,反而越可能撞上严格 Schema。

对工具开发者来说,这带来一个现实问题:是否需要为不同模型提供不同的编辑工具,或者增加兼容层,把多余字段转换成合法参数?Willison 提出了这个问题,但材料没有给出答案。

严格校验仍有必要。执行器拒绝未定义参数,正是在阻止模型把“自认为合理”直接变成真实操作。重试会增加成本和延迟,却也守住了模型建议与系统执行之间的边界。

局限与未知

  • 现有信息只有一则二手转述,没有 Armin 原文、复现实验、样本量或失败率,无法判断问题多常见。
  • “专项训练造成接口串扰”只是推测;材料没有提供训练细节或对照证据。
  • 个案只涉及 Pi 的特定 edit Schema,不能外推为新模型整体工具调用能力下降。

供稿材料 SOURCES — 1
01
Better Models: Worse Tools Simon Willison's Weblog · NEWS
原文 ↗

← 返回 2026-07-06 · 科技板块