出資者 Y Combinator (F26)

わずかなコストでフロンティア水準の合格率を実現

「わずかなコストでフロンティア水準の合格率を実現」カバー画像

多くのチームはいまだにモデル名でコーディングエージェントを比較しています。実際には、合格率を決めるのはモデルであり、請求額を決めるのはハーネスです。公開ベンチマークでは、同じモデルでもハーネスによってコストが最大 5 倍異なり、フロンティア水準の合格率を 68%〜96% 低コストで達成できます。

以下は DeepSWE v1.1、Coding Agent Index v1.5 全 303 タスク、および独立したハーネス研究の簡潔なデータ内訳です。詳細なベンチマーク表と手法については以下をご覧ください: Reason 1.1 のご紹介 と 最も安いソフトウェア工場。

DeepSWE v1.1:同等の合格率を 6〜21 分の 1 のコストで

DeepSWE v1.1 において、Reason 1.1 は GPT-6 Astra (xhigh)(1 タスク $3.96)と GPT-6.1 Sol (high)(1 タスク $0.60)の両方で 72.3% の合格率を達成しました。まったく同じ GPT-6 Astra モデルと Harbor ベンチマーク上で、Codex と Pi はより低いスコアでより高いコストとなりました。

Claude Code の公開 Coding Agent Index v1.5 コストおよび Cognition が報告した Devin Fusion の結果と比較すると、Reason 1.1 はごく一部の費用で同等以上の合格率を達成しています(Claude Code Opus 5.5 比で約 21 分の 1、Devin Fusion Claude Fable 5.1 + SWE-2 比で約 13 分の 1)。

DeepSWE v1.1 · タスクあたりコスト

棒が低いほど低コスト · 上の % は合格率
図 1. DeepSWE v1.1(113 タスク)におけるタスクあたりモデルコスト(USD)。Reason、Pi、Codex は Harbor 実測(113 タスク × 3 試行)。Devin Fusion は Cognition 公表値。† は Artificial Analysis 公開の Coding Agent Index v1.5 3 ベンチマーク平均コスト。

全 303 タスク:同等品質で 68%〜96% 低コスト

Coding Agent Index v1.5 全 303 タスク(DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA)において、Reason 1.1 で競合と同等以上の総合 Index スコアを達成した場合、タスクあたりコストは 68%〜96% 削減されます。

Index 60〜62 帯では、GPT-6.1 Sol を用いた Reason 1.1 が $0.38〜$0.59 であるのに対し、Devin Fusion は $4.54〜$7.90、Codex (GPT-6 Astra max) は $7.47、Claude Code は $10.79〜$12.39 です。最上位帯(Index 65.1)でも GPT-6 Astra の Reason 1.1 は $3.96 で、Claude Code のフラッグシップ構成より約 68%〜70% 低コストです。

同等以上のスコアにおけるタスクあたりコスト

Coding Agent Index v1.5 · 全 303 タスク
比較対象(Reason vs 競合)削減率
GPT-6.1 Sol (med)vsClaude Code · Opus 5 (max)
Index 60.0 vs 59.7$0.38 vs $10.79
−96%
GPT-6.1 Sol (high)vsClaude Code · Fable 5.1 (max)
Index 61.6 vs 62.2$0.59 vs $12.39
−95%
GPT-6.1 Sol (high)vsDevin Fusion · Fable 5.1 + SWE-2
Index 61.6 vs 61.7$0.59 vs $7.90
−93%
GPT-6.1 Sol (high)vsCodex · GPT-6 Astra (max)
Index 61.6 vs 61.6$0.59 vs $7.47
−92%
GPT-6.1 Sol (med)vsDevin Fusion · Astra + SWE-2
Index 60.0 vs 58.9 (+1.1)$0.38 vs $4.54
−92%
GPT-6.1 Sol (med)vsCursor CLI · Opus 4.7 (med)
Index 60.0 vs 47.0 (+13.0)$0.38 vs $2.72
−86%
GPT-6.1 Sol (med)vsCodex · GPT-6.1 Sol (max)
Index 60.0 vs 60.1$0.38 vs $1.55同一モデル
−75%
GPT-6 Astra (xhigh)vsClaude Code · Opus 5.5 (max)
Index 65.1 vs 66.0$3.96 vs $13.04
−70%
GPT-6 Astra (xhigh)vsClaude Code · Fable 5.1 (max)
Index 65.1 vs 62.2 (+2.9)$3.96 vs $12.39
−68%
Reason 1.1 (Harbor Hub) 競合 (Artificial Analysis)
図 2. Coding Agent Index v1.5 全 303 タスク(DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA)におけるタスクあたりコスト比較。Reason の各データ点は公開 Harbor Hub ジョブに基づきます。

同一モデルでの比較:Claude Code → Pi → Reason

モデルをまたぐ比較ではモデル単価とハーネス設計が混ざります。同一モデルに固定するとハーネス単体の差が明確になり、重いハーネス(Claude Code)から最小ハーネス(Pi)、さらに Reason 1.1 への改善がはっきり見えます。

UC Berkeley Sky Lab の HarnessTax 研究(Pan ら、2026)では、SWE-bench Lite と Terminal-Bench 2.0 で Claude Code、Codex CLI、Pi の 21 組を評価しました。Claude Code から Pi へ移すと合格率はほぼ変わらず、同一ウェイトのまま試行あたりコストが 50%〜80%(最大 5 分の 1)削減されました。

Reason 1.1 は品質とコストの両面で Pi をさらに上回ります。Harbor 全 303 タスクの GPT-6 Astra (xhigh) で Reason 1.1 は 65.1(Pi は 61.4、+3.8 点)を記録しつつ、試行あたり 4.5% 安く($3.96 vs $4.15)、解決タスクあたり 10% 低コストでした(DeepSWE v1.1 では試行あたり 15% 安い $3.96 vs $4.67)。HarnessTax での Claude Code→Pi 削減と Reason の Pi 比実測改善を合わせると、同一モデルで Claude Code 比約 52%〜81% の削減になります。

同一モデル比較:Claude Code → Pi → Reason 1.1

同一ウェイト · 試行あたりコスト
モデルClaude CodePiReason 1.1削減率
GPT-5.6 LunaSWE-bench Lite · HarnessTax$0.15255.6%$0.0353.3%~$0.029推定*−81.2%vs Claude Code (Pi: −80.3%)
GPT-5.6 SolSWE-bench Lite · HarnessTax$1.5477.8%$0.44174.4%~$0.421推定*−72.7%vs Claude Code (Pi: −71.4%)
Claude Fable 5SWE-bench Lite · HarnessTax$1.3397.8%$0.66696.7%~$0.636推定*−52.1%vs Claude Code (Pi: −49.9%)
GPT-6 Astra (xhigh)DeepSWE v1.1 · Harbor (113 × 3)—$4.6769.6%$3.9672.3%−15.2%vs Pi(合格率 +2.7 ポイント)
GPT-6 Astra (xhigh)CAI v1.5 · Harbor (303 × 3)—$4.1561.4$3.9665.1−10.0%解決あたり、vs Pi(Index +3.8)

初回ターンのプロンプト・ツール負荷(HarnessTax)

Claude Code · 23 ツール
27,011 トークン
最小ハーネス · 4 ツール
1,972 トークン(13.7 分の 1)
図 3. 同一モデルにおける Claude Code → Pi(UC Berkeley Sky Lab HarnessTax、SWE-bench Lite)と Pi → Reason 1.1(Harbor 実測、GPT-6 Astra xhigh)の比較。* SWE-bench Lite の Reason 1.1 推定値は、Harbor における Reason の Pi 比コスト比率($3.96 / $4.15 = 0.955×)を Pi の HarnessTax コストに適用した値です。

余分なトークンはどこから生まれるか

ハーネス間のコスト差のほとんどは、次の 3 つの設計上の違いから生まれます:

初回コンテキストの肥大化 HarnessTax の計測では、Claude Code は最初のアクション前に 23 ツール・27,011 トークンを注入する一方、最小ハーネスは 4 ツール・1,972 トークンに抑えています。マルチターン実行では毎ターン履歴を再読込するため、この差が全体に累積します。

ターン数増加と並列実行 Artificial Analysis の比較ページには、他のハーネスのタスクあたりのターン数が掲載されています。Cursor CLI は Coding Agent Index v1.3 で 78 ターン(2026 年 8 月 8 日時点のアーカイブ)、Devin Fusion CLI は Index v2.1 で 111 ターン(Codex vs Devin Fusion CLI、2026 年 11 月 21 日に確認)です。どちらも v1.5 での測定値ではなく、本記事で並べて示している数値と同じ実行から得られたものでもありません。Reason の codemode ツールを使うと、モデルは検索・ファイル読込・テスト実行を並列で行う短い JavaScript プログラムを 1 つ書くだけで済み、必要な結果だけが返ります。GPT-6 Astra では、Reason 1.1 のハーネスは試行あたりの入力トークンが Codex より 23% 少なくなりました(Reason 1.1 のご紹介)。この削減のうち codemode によるものがどれだけかは、まだ検証していません。

プロンプトキャッシュ命中率 長いエージェント実行ではキャッシュ入力トークンが請求額の大半を占めます。システムプロンプトとツール定義を静的に保ち追記のみにすることで毎ターンキャッシュ対象になります。 Diogo の KV キャッシュ分析 が示す通り、キャッシュ命中率を 95% から 98% へ上げるだけで試算コストは約 17% 下がります。

結果を再現する

本記事の Reason 1.1 の全スコアとコストは公開 Harbor Hub ジョブにリンクされており、ランナーとスコアラーはオープンソースで公開しています: reason-machines/benchmark。全ベンチマーク表、95% ブートストラップ区間、インタラクティブなパレート図については以下をご覧ください: Reason 1.1 のご紹介。

評価に関する注記

  • 2026 年 11 月 21 日更新:この記事の Coding Agent Index の結果は、すべて v1.5(DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA)に基づいています。Artificial Analysis のインデックスは現在 v2.1 で、異なるベンチマーク(FrontierCode-AA 2.0、Terminal-Bench 4.1、SWE-Atlas-QnA-AA)を使用しています。現在のリーダーボードのスコアはここに示すスコアと直接比較できず、v2.0 と v2.1 での Reason の結果は公開していません。私たちが公開したすべての数値と、その手法および生データ: Reason のベンチマーク結果。2026 年 11 月 21 日時点のインデックスのバージョン: Artificial Analysis の方法論。

参考文献

  1. Harbor Hub。Reason 1.1 の公開ジョブ(Coding Agent Index v1.5、タスクあたり 3 回の試行): GPT-6 Astra xhigh ·GPT-6.1 Sol xhigh ·GPT-6.1 Sol high ·GPT-6.1 Sol medium。同一条件 DeepSWE v1.1 Harbor ジョブ: Codex GPT-6 Astra xhigh ·Pi GPT-6 Astra xhigh。
  2. Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, and Matei Zaharia. HarnessTax: How Much Does the Harness Matter for Coding Agents? UC Berkeley Sky Lab, 2026. 投稿.
  3. Reason Machines. Reason 1.1 のご紹介(2026年10月10日)および 最も安いソフトウェア工場(2026年8月28日)。
  4. Artificial Analysis. Coding Agents リーダーボード、Coding Agent Index v1.5(2026 年 10 月 3 日時点のアーカイブ。現在のリーダーボードは v2.1 です)。比較ページ(2026 年 10 月取得): Codex vs Devin Fusion CLIは、2026 年 11 月 21 日に確認した時点で Index v2.1 の結果を表示しており、アーカイブはありません。Claude Code vs Cursor CLI のページは現在提供されていません。その 2026 年 8 月 8 日時点のアーカイブ は Index v1.3 のもので、Cursor CLI をタスクあたり 78 ターンとしています。
  5. Cognition. Introducing Fusion in Devin Desktop & CLI. ブログ記事.
  6. Diogo。(KV) Cache Rules Everything Around Me。Complete Skeptic、2026 年 9 月。 投稿。
  7. Reason Machines。DeepSWE v1.1、SWE-Atlas QnA、Terminal-Bench 4.0 を Harbor で実行するための、オープンなベンチマークランナーとスコアラー。 GitHub リポジトリ。
  8. 方法論に関する注記:ここに示す Coding Agent Index の数値はすべて v1.5(DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas QnA)のもので、Artificial Analysis の 方法論に従っています。Reason、Codex、Pi の Harbor 結果は当社による独自再現であり、Artificial Analysis の承認・保証を受けたものではありません。

著者

Reason