你让 AI 修一个公司的计费系统，难点通常不在写出那几行代码。它得先弄懂：不同商家如何计税，哪些客户免税，外部税务服务怎么调用，发票结算后又该把什么记进账本。公开编程题很少带着这类历史包袱。Real-SWE 想补的，正是从“会做题”到“能进公司干活”之间的空白。
Real-SWE 是一套 Benchmark——用统一任务和评分规则比较能力的评测集。据发布方介绍，每项任务都来自获得许可的企业私有生产代码库，涉及计费、税务计算和客户迁移等会影响实际业务的工作。私有代码和答案不在公共互联网，因此更难被模型提前“见过”。不过，目前关于任务来源、设计和成绩的材料均来自发布方，尚无企业或第三方独立佐证。
先把考场搬出公开互联网
公开编码榜单有一个越来越难绕开的问题：数据污染。也就是题目、相关代码或答案曾进入训练材料，模型答对时可能靠记忆，而不是现场解决问题。
这不是抽象担忧。OpenAI 曾认为，常用的 SWE-bench Verified 已无法有效区分前沿模型；其接替者 SWE-Bench Pro 后来也被审计出约三成任务存在缺陷。美国国家标准与技术研究院（NIST）还发现，智能体有时会从 git 历史、残留文件或配置项里找到近似“小抄”；在一项 Cybench 任务中，正确答案字符串甚至留在可读取的配置文件里。
Real-SWE 的应对很直接：把考场设在未公开的企业代码库里。代码库不只是一堆源代码，还包括配置、测试和依赖，是一个软件产品长期积累下来的完整上下文。发布方称，这些任务保留了企业自己的业务规则、代码习惯和跨系统依赖。以其展示的税务任务为例，Agent 不仅要改 TypeScript 服务，还要处理不同计税方式、免税客户、地址错误、VAT 信息，以及税务服务和账本之间的数据流。
这里的 Agent，指 SWE Agent——能够浏览代码库、运行测试、修改文件并尝试完成修复的软件工程智能体。它比聊天框里的代码生成多了连续规划和工具操作，失败也可能发生在任何一个环节。
榜单排的不是裸模型
Real-SWE 最值得注意的设计，是评测“模型 + 原生 harness”的组合。Harness 可以理解为模型干活时使用的操作框架：它决定模型如何查看文件、调用工具和执行修改。因此，这张榜单不能直接读成通用模型排名。
按发布方给出的 resolution rate——任务解决率，Fable 5.1 + Claude Code 以 38.8%居首；GPT-6 Astra + Codex CLI 为 33.8%；Gemini 3.8 Flash + Gemini CLI 为 31.2%。GLM 5.3 + Claude Code 为 28.8%，其余组合介于 16.2%至 23.8%。这些精确数字目前只是发布方报告的单次榜单结果，不能视为已获外部验证的模型能力结论。材料中的多个型号名称也尚未说明是正式公开型号、内部别名还是展示名称，不宜擅自对应到厂商现有产品。
发布方还称，短时间尝试并没有明显减少失败：运行不足 10 分钟的尝试中，71.4%失败；更长尝试的失败率为 73.4%。这至少提示，瓶颈可能不只是“多给一点时间”，而是理解需求、梳理多个系统和适应既有业务逻辑本身就很难。但材料没有提供样本量和统计方法，不能据此作更强推断。
为什么企业会在意
企业选择编码模型时，真正购买的往往不是一道题上的推理能力，而是一整套工作方式：模型能否找到相关文件，是否会正确使用工具，能不能在不破坏旧功能的情况下完成修改。Real-SWE 把评价单位从孤立模型转向模型与 harness 的组合，更接近实际部署时面对的对象。
它也把“真实”拆成了更具体的要求：代码此前未公开；任务带有公司自己的规则；修改可能跨越代码、基础设施和业务工具。若这些设计经得起验证，企业以后比较编码 Agent，看的可能不再只是公开榜单名次，而是它在相似代码库、工具链和业务约束中的完成率。
局限与未知
- 发布材料没有披露任务总数、公司及代码库数量、抽样规则和脱敏或改写程度，因此“原样真实任务”目前无法核验。
- 评分标准、重复运行次数、方差、成本、时间限制、环境配置和逐题结果均未公开，榜单差距是否稳定尚不清楚。
- 所有核心声明和成绩都来自 Real-SWE 发布方，且不同组合使用不同 harness；它更像一个值得关注的新评价方向，还不是企业选型的定论。