让 AI 接好一套网上支付,不能只看代码能不能跑,还要确认付款、订阅和报错是否真的符合预期。Stripe 为此推出基准测试:让软件 Agent——能读代码、改文件、运行命令并继续修正的 AI——在 11 个可复现环境里完成接近真实项目的支付集成。它们还要操作浏览器、调用 API,并由预设规则自动检查结果。
据 InfoQ 报道,Agent 的短板已经从“不会写”转向“不会验”。在 SDK 升级任务中,它有时向 Stripe 传入无效参数,收到本应表示失败的 HTTP 400 报错,却误判流程正常;在网页结账中,工具操作可能让输入框失去焦点,Agent 往往不会刷新或重新聚焦,反而提前停下。分项结果里,Claude Opus 4.5 在四类全栈 API 集成任务中平均得分 92%,但 Stripe 未公布总体成功率。换句话说,Agent 已能搭出支付流程,离稳定确认结果、追踪状态和从意外中恢复,仍有明显距离。