---
title: "以极低成本实现前沿通过率"
description: "为什么脚手架决定编程智能体的成本：DeepSWE v1.1、Coding Agent Index v1.5 与 UC Berkeley HarnessTax 研究的直接对比数据。"
url: "https://reasonmachines.com/zh-hans/blog/cost-per-task"
section: "简体中文"
---

# 以极低成本实现前沿通过率

_为什么脚手架决定编程智能体的成本：DeepSWE v1.1、Coding Agent Index v1.5 与 UC Berkeley HarnessTax 研究的直接对比数据。_

作者：Reason

2026年11月19日

大多数团队仍按模型名称比较编程智能体。实际上，模型决定通过率，脚手架决定账单。在公开基准测试中，同一模型在不同脚手架下的成本可相差高达 5 倍，而在同等前沿通过率下，成本可降低 68% 至 96%。

以下是 DeepSWE v1.1、Coding Agent Index v1.5 全部 303 项任务以及独立脚手架研究的简要数据拆解。完整分项表格与评估方法请参见[介绍 Reason 1.1](/zh-hans/blog/introducing-reason-agent-1-1) 和 [最便宜的软件工厂](/zh-hans/blog/about)。

## DeepSWE v1.1：同等通过率，成本低 6 至 21 倍

在 DeepSWE v1.1 上，Reason 1.1 在 GPT-6 Astra (xhigh)（单任务 $3.96）和 GPT-6.1 Sol (high)（单任务 $0.60）上均达到 72.3% 的通过率。在完全相同的 GPT-6 Astra 模型和 Harbor 基准测试中，Codex 与 Pi 的得分更低且单任务成本更高。

对比 Claude Code 公布的 Coding Agent Index v1.5 成本以及 Cognition 报告的 Devin Fusion 结果，Reason 1.1 以极低开销达到或超越其通过率：比 Claude Code (Opus 5.5) 便宜约 21 倍，比 Devin Fusion (Claude Fable 5.1 + SWE-2) 便宜约 13 倍。

### DeepSWE v1.1 · 单任务成本

柱越低成本越低 · 上方百分比为通过率

悬停或点击任意柱条即可查看对应任务或基准来源。

图 1. DeepSWE v1.1（113 项任务）的单任务模型成本（美元）。Reason、Pi 与 Codex 均在 Harbor 上实测（113 项任务 × 3 次尝试）。Devin Fusion 数据来自 Cognition 报告。† 为 Artificial Analysis 公布的 Coding Agent Index v1.5 三项基准平均单任务成本。

## 全部 303 项任务：同等质量下成本低 68% 至 96%

在 Coding Agent Index v1.5 全部 303 项任务（DeepSWE v1.1、Terminal-Bench 4.0 与 SWE-Atlas QnA）中，使用 Reason 1.1 达到或超过竞争对手综合指数得分时，单任务成本降低 68% 至 96%。

在 60 至 62 指数档位，Reason 1.1 搭配 GPT-6.1 Sol 单任务成本为 $0.38 至 $0.59，而 Devin Fusion 为 $4.54 至 $7.90，Codex (GPT-6 Astra max) 为 $7.47，Claude Code 为 $10.79 至 $12.39。在最高档位（65.1 指数），Reason 1.1 搭配 GPT-6 Astra 单任务成本为 $3.96，比 Claude Code 旗舰配置低约 68% 至 70%。

### 同等或更高得分下的单任务成本

Coding Agent Index v1.5 · 全部 303 项任务

对比组合（Reason vs 竞品）

节省比例

GPT-6.1 Sol (med)

对比

Claude Code · Opus 5 (max)

Index 60.0 对比 59.7

$0.38 vs $10.79

−96%

GPT-6.1 Sol (high)

对比

Claude Code · Fable 5.1 (max)

Index 61.6 对比 62.2

$0.59 vs $12.39

−95%

GPT-6.1 Sol (high)

对比

Devin Fusion · Fable 5.1 + SWE-2

Index 61.6 对比 61.7

$0.59 vs $7.90

−93%

GPT-6.1 Sol (high)

对比

Codex · GPT-6 Astra (max)

Index 61.6 对比 61.6

$0.59 vs $7.47

−92%

GPT-6.1 Sol (med)

对比

Devin Fusion · Astra + SWE-2

Index 60.0 对比 58.9 (+1.1)

$0.38 vs $4.54

−92%

GPT-6.1 Sol (med)

对比

Cursor CLI · Opus 4.7 (med)

Index 60.0 对比 47.0 (+13.0)

$0.38 vs $2.72

−86%

GPT-6.1 Sol (med)

对比

Codex · GPT-6.1 Sol (max)

Index 60.0 对比 60.1

$0.38 vs $1.55

同模型

−75%

GPT-6 Astra (xhigh)

对比

Claude Code · Opus 5.5 (max)

Index 65.1 对比 66.0

$3.96 vs $13.04

−70%

GPT-6 Astra (xhigh)

对比

Claude Code · Fable 5.1 (max)

Index 65.1 对比 62.2 (+2.9)

$3.96 vs $12.39

−68%

Reason 1.1 (Harbor Hub) 竞品 (Artificial Analysis)

图 2. Coding Agent Index v1.5 全部 303 项任务（DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA）的单任务成本直接对比。每个 Reason 数据点均来自其公开的 Harbor Hub 任务。

## 固定同一模型：从 Claude Code 到 Pi 再到 Reason

跨模型对比会混合模型定价与脚手架设计的差异。固定同一模型可以单独观察脚手架的影响：从重型脚手架（Claude Code）到极简脚手架（Pi），再到 Reason 1.1，演进脉络非常清晰。

在 UC Berkeley Sky Lab 的[HarnessTax](https://harnesstax.github.io/)研究（Pan 等，2026）中，研究人员在 SWE-bench Lite 与 Terminal-Bench 2.0 上评估了 Claude Code、Codex CLI 与 Pi 的 21 组模型-脚手架组合。从 Claude Code 切换到 Pi 几乎不影响通过率，却在完全相同的模型权重下将单次尝试成本降低 50% 至 80%（最高便宜 5 倍）。

Reason 1.1 在质量与成本两方面进一步超越 Pi。在全部 303 项 Harbor 任务上使用 GPT-6 Astra (xhigh)，Reason 1.1 得分 65.1，高于 Pi 的 61.4（+3.8 分），同时单次尝试成本低 4.5%（$3.96 vs $4.15），单次成功解题成本低 10%（在 DeepSWE v1.1 上单次尝试低 15%：$3.96 vs $4.67）。将 HarnessTax 中 Claude Code 到 Pi 的降幅与 Reason 相对 Pi 的实测优势结合，同模型相比 Claude Code 的总成本降幅约达 52% 至 81%。

### 同模型对比：Claude Code → Pi → Reason 1.1

相同模型权重 · 单次尝试成本

模型 | Claude Code | Pi | Reason 1.1 | 节省比例 |

GPT-5.6 Luna SWE-bench Lite · HarnessTax | $0.152 55.6% | $0.03 53.3% | ~$0.029 估算\* | −81.2% 对比 Claude Code（Pi：−80.3%） |

GPT-5.6 Sol SWE-bench Lite · HarnessTax | $1.54 77.8% | $0.441 74.4% | ~$0.421 估算\* | −72.7% 对比 Claude Code（Pi：−71.4%） |

Claude Fable 5 SWE-bench Lite · HarnessTax | $1.33 97.8% | $0.666 96.7% | ~$0.636 估算\* | −52.1% 对比 Claude Code（Pi：−49.9%） |

GPT-6 Astra (xhigh) DeepSWE v1.1 · Harbor (113 × 3) | — | $4.67 69.6% | $3.96 72.3% | −15.2% 对比 Pi（通过率 +2.7 个百分点） |

GPT-6 Astra (xhigh) CAI v1.5 · Harbor (303 × 3) | — | $4.15 61.4 | $3.96 65.1 | −10.0% 每次解题，对比 Pi（Index +3.8） |

首轮提示词与工具开销（HarnessTax）

Claude Code · 23 个工具

27,011 个 Token

极简脚手架 · 4 个工具

1,972 个 Token（缩小 13.7 倍）

图 3. 同模型从 Claude Code 到 Pi（UC Berkeley Sky Lab HarnessTax，SWE-bench Lite）以及从 Pi 到 Reason 1.1（Harbor 实测，GPT-6 Astra xhigh）的演进对比。\* SWE-bench Lite 上的 Reason 1.1 估算值按 Reason 在 Harbor 上相对 Pi 的实测单次成本比（$3.96 / $4.15 = 0.955×）换算自 Pi 的 HarnessTax 成本。

## 多余 Token 来自哪里

三个机制选择几乎决定了不同脚手架之间的全部成本差异：

**首轮上下文膨胀**HarnessTax 测得 Claude Code 在首次行动前就注入了 23 个工具和 27,011 个 Token，而极简脚手架仅包含 4 个核心工具和 1,972 个 Token。由于多轮智能体每轮都会重读历史记录，这部分开销会在整个运行过程中不断累积。

**轮次膨胀与并行执行**Artificial Analysis 的对比页面给出了其他脚手架每个任务的轮数：Cursor CLI 在 Coding Agent Index v1.3 上为 78 轮（[2026 年 8 月 8 日的存档](https://web.archive.org/web/20260808172832/https://artificialanalysis.ai/agents/coding-agents/comparisons/claude-code-vs-cursor-cli)），Devin Fusion CLI 在 Index v2.1 上为 111 轮（[Codex vs Devin Fusion CLI](https://artificialanalysis.ai/agents/coding-agents/comparisons/codex-vs-devin-fusion-cli)，2026 年 11 月 21 日查看）。两者都不是 v1.5 的测量结果，也都不与本文中并列的数字出自同一批运行。Reason 的`codemode`工具允许模型编写一段简短的 JavaScript 程序，并行执行搜索、文件读取与测试并只返回关键结果。在 GPT-6 Astra 上，Reason 1.1 脚手架每次尝试的输入 Token 比 Codex 少 23%（[介绍 Reason 1.1](/zh-hans/blog/introducing-reason-agent-1-1)）；其中有多少来自`codemode`，尚未测试。

**提示词缓存命中率**在长轨迹智能体任务中，缓存输入 Token 占据了大部分账单。保持系统提示词和工具定义静态且严格仅追加，可使每一轮都可命中缓存。正如[Diogo 的 KV 缓存分析](https://www.completeskeptic.com/p/kv-cache-rules-everything-around)所示，将缓存命中率从 95% 提升到 98%，即可将模拟智能体账单降低约 17%。

## 复现全部数据

本文中的每项 Reason 1.1 得分与成本均直接链接至公开的 Harbor Hub 任务，运行器与评分器已开源于[reason-machines/benchmark](https://github.com/reason-machines/benchmark)。完整分项表格、95% 自助法置信区间与交互式帕累托图，请阅读[介绍 Reason 1.1](/zh-hans/blog/introducing-reason-agent-1-1)。

## 评估说明

- 2026 年 11 月 21 日更新：本文中的 Coding Agent Index 结果均基于 v1.5：DeepSWE v1.1、Terminal-Bench 4.0 和 SWE-Atlas QnA。Artificial Analysis 的指数现已更新至 v2.1，采用不同的基准测试：FrontierCode-AA 2.0、Terminal-Bench 4.1 和 SWE-Atlas-QnA-AA。其当前排行榜上的分数与本文的分数不能直接比较，我们也尚未发布 Reason 在 v2.0 或 v2.1 上的结果。我们已发布的全部数值及其方法和原始数据：[Reason 基准测试结果](/benchmarks)。截至 2026 年 11 月 21 日的指数版本：[Artificial Analysis 方法论](https://artificialanalysis.ai/methodology/coding-agents-benchmarking)。

## 参考资料

<a id="ref-1"></a>
[1] Harbor Hub。Reason 1.1 公开任务（Coding Agent Index v1.5，每个任务 3 次尝试）：[GPT-6 Astra xhigh](https://hub.harborframework.com/jobs/0ac70bbf-10d8-5f45-8077-c428f10cb1a1)·[GPT-6.1 Sol xhigh](https://hub.harborframework.com/jobs/439dab82-597f-539e-9c98-7dde2ddd3072)·[GPT-6.1 Sol high](https://hub.harborframework.com/jobs/6c11b2fe-0dd9-53a7-9fe4-2dec41705472)·[GPT-6.1 Sol medium](https://hub.harborframework.com/jobs/b4405006-b07e-56bc-a427-e0c76c7bee12)。同条件 DeepSWE v1.1 Harbor 任务：[Codex GPT-6 Astra xhigh](https://hub.harborframework.com/jobs/e20ecafd-695a-417c-90f5-35fd36d2786f)·[Pi GPT-6 Astra xhigh](https://hub.harborframework.com/jobs/cd7d8de6-c152-48de-9840-b22bbea96d99)。

<a id="ref-2"></a>
[2] Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, and Matei Zaharia. HarnessTax: How Much Does the Harness Matter for Coding Agents? UC Berkeley Sky Lab, 2026.[文章](https://harnesstax.github.io/).

<a id="ref-3"></a>
[3] Reason Machines.[介绍 Reason 1.1](/zh-hans/blog/introducing-reason-agent-1-1)，2026年10月10日，以及[最便宜的软件工厂](/zh-hans/blog/about)，2026年8月28日。

<a id="ref-4"></a>
[4] Artificial Analysis。[Coding Agents 排行榜](https://web.archive.org/web/20261003030006/https://artificialanalysis.ai/agents/coding-agents)，Coding Agent Index v1.5，2026 年 10 月 3 日的存档；当前排行榜已更新至 v2.1。对比页面（2026 年 10 月获取）：[Codex vs Devin Fusion CLI](https://artificialanalysis.ai/agents/coding-agents/comparisons/codex-vs-devin-fusion-cli)，2026 年 11 月 21 日查看时显示的是 Index v2.1 的结果，且没有存档；以及 Claude Code vs Cursor CLI，该页面现已无法访问。其[2026 年 8 月 8 日的存档](https://web.archive.org/web/20260808172832/https://artificialanalysis.ai/agents/coding-agents/comparisons/claude-code-vs-cursor-cli)基于 Index v1.3，其中 Cursor CLI 为每个任务 78 轮。

<a id="ref-5"></a>
[5] Cognition. Introducing Fusion in Devin Desktop & CLI.[博客文章](https://cognition.com/blog/local-fusion).

<a id="ref-6"></a>
[6] Diogo。(KV) Cache Rules Everything Around Me。Complete Skeptic，2026 年 9 月。[文章](https://www.completeskeptic.com/p/kv-cache-rules-everything-around)。

<a id="ref-7"></a>
[7] Reason Machines。用于在 Harbor 上运行 DeepSWE v1.1、SWE-Atlas QnA 和 Terminal-Bench 4.0 的开源基准运行器与评分器。[GitHub 仓库](https://github.com/reason-machines/benchmark)。

<a id="ref-8"></a>
[8] 方法说明：本文所有 Coding Agent Index 数据均基于 v1.5（DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA），并遵循 Artificial Analysis 的[方法](https://artificialanalysis.ai/methodology/coding-agents-benchmarking)。Reason、Codex 与 Pi 的 Harbor 结果为我们自行复现，未经 Artificial Analysis 审阅或背书。
