大多数团队仍按模型名称比较编程智能体。实际上,模型决定通过率,脚手架决定账单。在公开基准测试中,同一模型在不同脚手架下的成本可相差高达 5 倍,而在同等前沿通过率下,成本可降低 68% 至 96%。
以下是 DeepSWE v1.1、Coding Agent Index v1.5 全部 303 项任务以及独立脚手架研究的简要数据拆解。完整分项表格与评估方法请参见 介绍 Reason 1.1 和 最便宜的软件工厂。
DeepSWE v1.1:同等通过率,成本低 6 至 21 倍
在 DeepSWE v1.1 上,Reason 1.1 在 GPT-6 Astra (xhigh)(单任务 $3.96)和 GPT-6.1 Sol (high)(单任务 $0.60)上均达到 72.3% 的通过率。在完全相同的 GPT-6 Astra 模型和 Harbor 基准测试中,Codex 与 Pi 的得分更低且单任务成本更高。
对比 Claude Code 公布的 Coding Agent Index v1.5 成本以及 Cognition 报告的 Devin Fusion 结果,Reason 1.1 以极低开销达到或超越其通过率:比 Claude Code (Opus 5.5) 便宜约 21 倍,比 Devin Fusion (Claude Fable 5.1 + SWE-2) 便宜约 13 倍。
DeepSWE v1.1 · 单任务成本
柱越低成本越低 · 上方百分比为通过率悬停或点击任意柱条即可查看对应任务或基准来源。
全部 303 项任务:同等质量下成本低 68% 至 96%
在 Coding Agent Index v1.5 全部 303 项任务(DeepSWE v1.1、Terminal-Bench 4.0 与 SWE-Atlas QnA)中,使用 Reason 1.1 达到或超过竞争对手综合指数得分时,单任务成本降低 68% 至 96%。
在 60 至 62 指数档位,Reason 1.1 搭配 GPT-6.1 Sol 单任务成本为 $0.38 至 $0.59,而 Devin Fusion 为 $4.54 至 $7.90,Codex (GPT-6 Astra max) 为 $7.47,Claude Code 为 $10.79 至 $12.39。在最高档位(65.1 指数),Reason 1.1 搭配 GPT-6 Astra 单任务成本为 $3.96,比 Claude Code 旗舰配置低约 68% 至 70%。
同等或更高得分下的单任务成本
Coding Agent Index v1.5 · 全部 303 项任务固定同一模型:从 Claude Code 到 Pi 再到 Reason
跨模型对比会混合模型定价与脚手架设计的差异。固定同一模型可以单独观察脚手架的影响:从重型脚手架(Claude Code)到极简脚手架(Pi),再到 Reason 1.1,演进脉络非常清晰。
在 UC Berkeley Sky Lab 的 HarnessTax 研究(Pan 等,2026)中,研究人员在 SWE-bench Lite 与 Terminal-Bench 2.0 上评估了 Claude Code、Codex CLI 与 Pi 的 21 组模型-脚手架组合。从 Claude Code 切换到 Pi 几乎不影响通过率,却在完全相同的模型权重下将单次尝试成本降低 50% 至 80%(最高便宜 5 倍)。
Reason 1.1 在质量与成本两方面进一步超越 Pi。在全部 303 项 Harbor 任务上使用 GPT-6 Astra (xhigh),Reason 1.1 得分 65.1,高于 Pi 的 61.4(+3.8 分),同时单次尝试成本低 4.5%($3.96 vs $4.15),单次成功解题成本低 10%(在 DeepSWE v1.1 上单次尝试低 15%:$3.96 vs $4.67)。将 HarnessTax 中 Claude Code 到 Pi 的降幅与 Reason 相对 Pi 的实测优势结合,同模型相比 Claude Code 的总成本降幅约达 52% 至 81%。
同模型对比:Claude Code → Pi → Reason 1.1
相同模型权重 · 单次尝试成本| 模型 | Claude Code | Pi | Reason 1.1 | 节省比例 |
|---|---|---|---|---|
| GPT-5.6 LunaSWE-bench Lite · HarnessTax | $0.15255.6% | $0.0353.3% | ~$0.029估算* | −81.2%对比 Claude Code(Pi:−80.3%) |
| GPT-5.6 SolSWE-bench Lite · HarnessTax | $1.5477.8% | $0.44174.4% | ~$0.421估算* | −72.7%对比 Claude Code(Pi:−71.4%) |
| Claude Fable 5SWE-bench Lite · HarnessTax | $1.3397.8% | $0.66696.7% | ~$0.636估算* | −52.1%对比 Claude Code(Pi:−49.9%) |
| GPT-6 Astra (xhigh)DeepSWE v1.1 · Harbor (113 × 3) | — | $4.6769.6% | $3.9672.3% | −15.2%对比 Pi(通过率 +2.7 个百分点) |
| GPT-6 Astra (xhigh)CAI v1.5 · Harbor (303 × 3) | — | $4.1561.4 | $3.9665.1 | −10.0%每次解题,对比 Pi(Index +3.8) |
首轮提示词与工具开销(HarnessTax)
多余 Token 来自哪里
三个机制选择几乎决定了不同脚手架之间的全部成本差异:
首轮上下文膨胀 HarnessTax 测得 Claude Code 在首次行动前就注入了 23 个工具和 27,011 个 Token,而极简脚手架仅包含 4 个核心工具和 1,972 个 Token。由于多轮智能体每轮都会重读历史记录,这部分开销会在整个运行过程中不断累积。
轮次膨胀与并行执行 Artificial Analysis 的对比页面给出了其他脚手架每个任务的轮数:Cursor CLI 在 Coding Agent Index v1.3 上为 78 轮(2026 年 8 月 8 日的存档),Devin Fusion CLI 在 Index v2.1 上为 111 轮(Codex vs Devin Fusion CLI,2026 年 11 月 21 日查看)。两者都不是 v1.5 的测量结果,也都不与本文中并列的数字出自同一批运行。Reason 的 codemode 工具允许模型编写一段简短的 JavaScript 程序,并行执行搜索、文件读取与测试并只返回关键结果。在 GPT-6 Astra 上,Reason 1.1 脚手架每次尝试的输入 Token 比 Codex 少 23%(介绍 Reason 1.1);其中有多少来自 codemode ,尚未测试。
提示词缓存命中率 在长轨迹智能体任务中,缓存输入 Token 占据了大部分账单。保持系统提示词和工具定义静态且严格仅追加,可使每一轮都可命中缓存。正如 Diogo 的 KV 缓存分析 所示,将缓存命中率从 95% 提升到 98%,即可将模拟智能体账单降低约 17%。
复现全部数据
本文中的每项 Reason 1.1 得分与成本均直接链接至公开的 Harbor Hub 任务,运行器与评分器已开源于 reason-machines/benchmark。完整分项表格、95% 自助法置信区间与交互式帕累托图,请阅读 介绍 Reason 1.1。
评估说明
- 2026 年 11 月 21 日更新:本文中的 Coding Agent Index 结果均基于 v1.5:DeepSWE v1.1、Terminal-Bench 4.0 和 SWE-Atlas QnA。Artificial Analysis 的指数现已更新至 v2.1,采用不同的基准测试:FrontierCode-AA 2.0、Terminal-Bench 4.1 和 SWE-Atlas-QnA-AA。其当前排行榜上的分数与本文的分数不能直接比较,我们也尚未发布 Reason 在 v2.0 或 v2.1 上的结果。我们已发布的全部数值及其方法和原始数据: Reason 基准测试结果。截至 2026 年 11 月 21 日的指数版本: Artificial Analysis 方法论。
参考资料
- Harbor Hub。Reason 1.1 公开任务(Coding Agent Index v1.5,每个任务 3 次尝试): GPT-6 Astra xhigh ·GPT-6.1 Sol xhigh ·GPT-6.1 Sol high ·GPT-6.1 Sol medium。同条件 DeepSWE v1.1 Harbor 任务: Codex GPT-6 Astra xhigh ·Pi GPT-6 Astra xhigh。
- Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, and Matei Zaharia. HarnessTax: How Much Does the Harness Matter for Coding Agents? UC Berkeley Sky Lab, 2026. 文章.
- Reason Machines. 介绍 Reason 1.1,2026年10月10日,以及 最便宜的软件工厂,2026年8月28日。
- Artificial Analysis。 Coding Agents 排行榜,Coding Agent Index v1.5,2026 年 10 月 3 日的存档;当前排行榜已更新至 v2.1。对比页面(2026 年 10 月获取): Codex vs Devin Fusion CLI,2026 年 11 月 21 日查看时显示的是 Index v2.1 的结果,且没有存档;以及 Claude Code vs Cursor CLI,该页面现已无法访问。其 2026 年 8 月 8 日的存档 基于 Index v1.3,其中 Cursor CLI 为每个任务 78 轮。
- Cognition. Introducing Fusion in Devin Desktop & CLI. 博客文章.
- Diogo。(KV) Cache Rules Everything Around Me。Complete Skeptic,2026 年 9 月。 文章。
- Reason Machines。用于在 Harbor 上运行 DeepSWE v1.1、SWE-Atlas QnA 和 Terminal-Bench 4.0 的开源基准运行器与评分器。 GitHub 仓库。
- 方法说明:本文所有 Coding Agent Index 数据均基于 v1.5(DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA),并遵循 Artificial Analysis 的 方法。Reason、Codex 与 Pi 的 Harbor 结果为我们自行复现,未经 Artificial Analysis 审阅或背书。
