Reason Agent 1.0 のご紹介
DeepSWE v1.1 での最初の結果です。フロンティアのハーネスと互角で、ベンチマークのベースラインに対し、解決時間の中央値を最大 39% 短縮しました。
著者: Reason
2026年9月14日
Reason Agentは Reason の自律型ソフトウェアエンジニアです。
本日、モデルがソフトウェアエンジニアリングのタスクを解決できるよう支援するために作られたコーディングエージェントハーネス、Reason Agent 1.0 を発表します。DeepSWE v1.1 での最初の結果は、フロンティアのハーネスと互角で、Codex のベンチマークベースラインと比べて解決時間の中央値を最大 39% 短縮しました。1
DeepSWE スコアと実行時間の中央値
DeepSWE スコア
スコアが高く・所要時間が短い ↗構成（60/71）
gpt-6-astraxhighhighmaxmediumlowgemini-3.8-flashhighmediumclaude-opus-5maxxhighhighmediumlowgpt-5.6-solmaxxhighhighmediumlowclaude-fable-5xhighmaxhighmediumlowgpt-5.6-terramaxxhighhighmediumlowglm-5.3maxkimi-k3maxgrok-4.6mediumxhighhighlowgpt-5.6-lunamaxxhighhighmediumlowgpt-5.5xhighhighmediumlowgemini-3.7-flashmediumhighlowglm-5.3-flashmaxdeepseek-v4-promaxclaude-opus-4.8maxxhighhighmediumlowqwen3.8-maxxhighmuse-spark-1.2xhighclaude-sonnet-5maxxhighhighmediumlowgrok-4.5highdeepseek-v4-flashmaxmuse-spark-1.1xhighgpt-5.4xhighgemini-3.6-flashhighglm-5.2maxhighgemini-3.5-flashhighkimi-k2.7-codedefaultclaude-sonnet-4.6highgemini-3.1-pro-previewhighReason AgentAstra xhigh
Reason AgentAstra · xhigh · 自社実行
73.0%DeepSWE スコア
13.80 分実行時間の中央値
図 1. エージェント実行の実時間の中央値（セットアップ、キュー待ち、検証を除く）。エンドツーエンドのタスクレイテンシではありません。公開されている中央値は失敗を含む採点対象の試行を対象としています。Reason は両方の実行で計測した試行をまとめ、すべての割り当てをスコアに含めています。モデルを結ぶ線は構成同士をつなぐもので、近似したフロンティアではありません。ホスト、プロバイダーの負荷、実行条件が異なるため、これは記述的な比較であり、条件をそろえた速度テストではありません。[1] [2]
成功した解決(早い順)
Reason は、最小限の汎用ツールを中心に構築したコーディングエージェントのハーネスです。リポジトリをどう調べ、どう変更し、どう検証するかはモデルが決めます。タスク固有の手順を固定的に並べるのではなく、問題に合わせてアプローチを変える余地をモデルに与えています。
私たちは、優れたエージェントには必ずしもより多くのオーケストレーションが必要だという前提を採りません。モデルが高性能になるほど、ハーネスが課すワークフローは減らし、モデルの問題解決の判断をより信頼すべきだと考えています。ハーネスの役割は、信頼できるツールと明確な実行境界を提供することであり、モデルに代わってすべてのステップを決めることではありません。
目指すのは、ハーネスが生み出すコンテキストと強制的な調整のための呼び出しを減らし、調査からテスト済みの変更までをモデルがより直接たどれるようにすることです。これは設計上の仮説であり、今回の実行で裏付けられたメカニズムではありません。ツールセットが小さいだけで、モデルのターン数が減るとは限りません。
公表済みの参照値との比較
Reason の Astra の結果は、Datacurve が公表している最上位の Astra 構成に近い水準です。表では、当社の測定値と公開されている参照値をあわせて示しています。231
Reason Agent は主要なハーネスと互角
DeepSWE v1.1 · 観測された成功率
エージェント | 努力レベル | 成功率 |
Reason (Astra) | xhigh | 73%67–78% |
GPT-6 Astra | xhigh | 74%70–78% |
Gemini 3.8 Flash | high | 74%70–78% |
Claude Opus 5 | max | 74%69–78% |
GPT-5.6 Sol | max | 73%68–77% |
Claude Fable 5 | xhigh | 70%66–74% |
図 2. Reason (Astra) は自社の計測値で、それ以外の行はすべて mini-swe-agent と公開されている DeepSWE の結果を使用しています。範囲は 95% Wilson 区間で、タスク間の依存関係は補正していません。評価方法は異なります。[1][2][3][6]
ハーネスの並列比較
モデルとエフォートは同じで、ハーネスだけが異なります。共通の成功タスクでは、Reason は平均の解決時間を 36.7% 短縮しました(タスクごとの試行を平均)。全体の解決時間の中央値は Codex より約 40% 短く(両方の実行を合算すると 39%)なっています。1
同じ 113 タスクで Reason と Codex を比較しました。どちらも xhigh エフォートの Astra を使用しています。曲線は Reason の 2 回の実行と Codex の 1 回の実行を合算したものです。その下のタスクごとのビューでは、各ハーネスの 1 回目の実行(Reason が復旧した 2 件を含む)を比較しており、1 つの点が同じタスクでの両者の結果を表します。
完了曲線は測定結果を示しています。成功した試行ほど早く終わり、全体の観測成功率は同程度です。解決時間 20 分の時点で、最終的に合格した試行は Reason の割り当ての 59.3% を占めたのに対し、Codex は 20.4% でした。これらは事後的に求めた完了時間であり、20 分の制限時間を設けた実験の結果ではありません。1
Reason と Codex:解決時間
Astra xhigh · Reason 2 回、Codex 1 回の実行
凡例の項目をクリックすると表示/非表示を切り替えられます。
確認済みの成功率(%)
0
20
40
60
80
100
0102030405060
解決時間(分)
図 3. 最終的に合格した試行を、記録されたエージェント時間別に示したものです。早期停止の実験ではありません。Reason と Codex はいずれもすべての割り当てを分母に含めています。どちらも xhigh の努力レベルで Astra を使用していますが、プロバイダーの経路と実行条件が別であるため、ハーネスについて因果関係を主張することはできません。[1]
Reason と Codex:タスクごとの比較
Astra xhigh · 各ハーネスの 1 回目の実行 · 点 1 つが 1 タスク
左半分:Reason · 右半分:Codex
abs-module-cache-flags。Reason:合格、Codex:合格
abs-stepped-slices。Reason:合格、Codex:合格
actionlint-action-pinning-lint。Reason:合格、Codex:合格
adaptix-name-mapping-aliases。Reason:合格、Codex:合格
aiomonitor-task-snapshots-diff。Reason:合格、Codex:合格
anko-default-function-arguments。Reason:合格、Codex:合格
anko-typed-variable-bindings。Reason:合格、Codex:合格
arcane-drift-detection-baselines。Reason:合格、Codex:不合格
arktype-json-schema-refs-dependencies。Reason:合格、Codex:合格
awilix-async-container-initialization。Reason:合格、Codex:不合格
bandit-incremental-cache-control。Reason:合格、Codex:合格
bandit-interprocedural-taint-checks。Reason:合格、Codex:合格
bandit-structured-nosec-directives。Reason:不合格、Codex:不合格
boa-hierarchical-evaluation-cancellation。Reason:合格、Codex:合格
cattrs-partial-structuring-recovery。Reason:合格、Codex:合格
clack-async-autocomplete-options。Reason:合格、Codex:不合格
claude-code-by-agents-recursive-delegation。Reason:合格、Codex:合格
cliffy-config-file-parsing。Reason:合格、Codex:合格
csstree-shorthand-expansion-compression。Reason:合格、Codex:合格
dasel-html-document-format。Reason:合格、Codex:合格
dateutil-rfc5545-timezone-interop。Reason:合格、Codex:合格
drizzle-orm-window-function-builders。Reason:合格、Codex:合格
dynamodb-toolbox-conditional-attribute-requirements。Reason:合格、Codex:合格
dynamodb-toolbox-lazy-recursive-schemas。Reason:合格、Codex:合格
effect-sse-httpapi-streaming。Reason:合格、Codex:不合格
eicrud-keyset-pagination-cursor. Reason: 合格、Codex: 合格
etree-xml-diff-patch. Reason: 不合格、Codex: 不合格
expr-try-catch-errors. Reason: 合格、Codex: 合格
fastapi-deprecation-response-headers. Reason: 合格、Codex: 合格
fastapi-implicit-head-options. Reason: 合格、Codex: 合格
fd-deterministic-multi-key-sorting. Reason: 合格、Codex: 合格
geo-shapeindex-serialization. Reason: 合格、Codex: 合格
go-critic-doc-link-checker. Reason: 不合格、Codex: 不合格
go-genai-streamed-function-args. Reason: 合格、Codex: 合格
go-git-worktree-merge-conflicts. Reason: 合格、Codex: 合格
goreleaser-retry-publish-auditing. Reason: 合格、Codex: 合格
gql-incremental-graphql-delivery. Reason: 不合格、Codex: 不合格
happy-dom-abort-pending-body-reads. Reason: 合格、Codex: 合格
happy-dom-deterministic-intersectionobserver. Reason: 不合格、Codex: 不合格
helm-array-merge-strategies. Reason: 不合格、Codex: 不合格
helm-unified-manifest-stream. Reason: 合格、Codex: 合格
httpx-deterministic-cookie-store. Reason: 合格、Codex: 合格
httpx-multipart-response-parsing. Reason: 合格、Codex: 合格
httpx-streaming-json-iteration. Reason: 合格、Codex: 合格
igel-persist-feature-schema. Reason: 不合格、Codex: 不合格
ink-grid-box-layout. Reason: 不合格、Codex: 不合格
ipython-session-bundle-replay. Reason: 合格、Codex: 合格
katex-multicolumn-array-spans. Reason: 合格、Codex: 合格
kcp-go-multiplexed-kcp-streams. Reason: 合格、Codex: 不合格
kea-atomic-signal-selectors. Reason: 不合格、Codex: 不合格
kgateway-consistent-hash-policy. Reason: 合格、Codex: 合格
kombu-single-active-consumer-priority. Reason: 合格、Codex: 合格
kombu-virtual-queue-dead-lettering. Reason: 合格、Codex: 合格
koota-composite-trait-aspects. Reason: 合格、Codex: 合格
koota-deferred-mutation-buffer. Reason: 不合格、Codex: 合格
koota-entity-snapshot-rollback. Reason: 合格、Codex: 不合格
koota-pair-relation-tracking. Reason: 不合格、Codex: 不合格
koota-query-predicates. Reason: 合格、Codex: 不合格
kysely-window-grouping-helpers. Reason: 合格、Codex: 合格
langchain-request-coalescing. Reason: 合格、Codex: 合格
mashumaro-flattened-dataclass-fields. Reason: 合格、Codex: 合格
meriyah-explicit-resource-declarations. Reason: 不合格、Codex: 不合格
mnamer-daemon-watch-lifecycle. Reason: 合格、Codex: 合格
mobly-grouped-test-barriers. Reason: 合格、Codex: 合格
narwhals-rolling-window-suite. Reason: 合格、Codex: 合格
numba-stencil-boundary-modes. Reason: 合格、Codex: 合格
obsidian-linter-auto-table-of-contents. Reason: 不合格、Codex: 不合格
obsidian-linter-link-format-conversion. Reason: 不合格、Codex: 不合格
obsidian-linter-scoped-ignore-markers. Reason: 合格、Codex: 合格
ofetch-per-origin-circuit-breaker. Reason: 合格、Codex: 合格
onedump-dump-encryption-pipeline. Reason: 不合格、Codex: 不合格
opa-rego-rule-profiling. Reason: 不合格、Codex: 不合格
opa-template-string-reconstruction. Reason: 合格、Codex: 不合格
optique-conditional-option-dependencies. Reason: 不合格、Codex: 合格
oxvg-structural-selector-preservation. Reason: 不合格、Codex: 合格
participle-grammar-conflict-analysis. Reason: 不合格、Codex: 不合格
pebble-durability-wait-apis. Reason: 合格、Codex: 合格
pest-character-class-coalescing. Reason: 不合格、Codex: 不合格
prometheus-transactional-reload-status. Reason: 不合格、Codex: 合格
prometheus-typed-label-sorting. Reason: 合格、Codex: 合格
psd-tools-blend-range-api. Reason: 合格、Codex: 合格
pwntools-tube-multiplexing. Reason: 合格、Codex: 不合格
python-statemachine-state-data-scoping. Reason: 不合格、Codex: 不合格
query-persist-restored-query-state. Reason: 合格、Codex: 合格
quill-shared-toolbar-focus. Reason: 合格、Codex: 合格
returns-validated-error-accumulation. Reason: 合格、Codex: 合格
scc-bounded-memory-spilling. Reason: 合格、Codex: 合格
scriggo-method-declarations. Reason: 合格、Codex: 合格
skrub-duration-encoding. Reason: 合格、Codex: 合格
sql-formatter-bigquery-pipe-formatting. Reason: 合格、Codex: 合格
sqlfmt-create-table-ddl-formatting. Reason: 不合格、Codex: 不合格
sqlite-utils-safe-import-checkpoints. Reason: 合格、Codex: 合格
superjson-error-stack-serialization. Reason: 合格、Codex: 合格
task-task-graph-export. Reason: 合格、Codex: 合格
tengo-callable-instance-isolation. Reason: 合格、Codex: 合格
tengo-destructuring-bindings. Reason: 合格、Codex: 合格
termenv-preserve-ansi-resets. Reason: 不合格、Codex: 不合格
testem-bail-on-test-failure. Reason: 不合格、Codex: 不合格
testem-per-launcher-reports. Reason: 不合格、Codex: 合格
textual-kitty-key-phases. Reason: 合格、Codex: 合格
textual-richlog-follow-state. Reason: 合格、Codex: 合格
tomlkit-toml-table-converters. Reason: 合格、Codex: 合格
true-myth-iterable-collection-combinators. Reason: 合格、Codex: 合格
ts-pattern-match-each. Reason: 不合格、Codex: 不合格
updo-policy-alerting. Reason: 合格、Codex: 合格
valibot-recursive-schema-composition. Reason: 合格、Codex: 合格
vitest-duration-sharding. Reason: 合格、Codex: 合格
vulture-persistent-analysis-cache. Reason: 不合格、Codex: 不合格
wasmi-trap-coredumps. Reason: 合格、Codex: 合格
wazero-multi-module-snapshots. Reason: 不合格、Codex: 不合格
yaegi-go-embed-directives. Reason: 合格、Codex: 合格
yjs-map-conflict-detection. Reason: 合格、Codex: 合格
ytt-jsonpath-query-api. Reason: 合格、Codex: 合格
両方が合格Reason が合格Codex が合格どちらも不合格
図 4. Reason の実行 1 と Codex の比較。Kea のセットアップ失敗後の再試行と、パッチを変更せずに再採点した Pwntools を含みます。塗りつぶされた半円は合格を表します。点にカーソルを合わせるかフォーカスすると、両方の結果を確認できます。[1]
今後の展開
これらの結果は暫定的なものです。私たちは、コーディングエージェントは最小限の汎用ツールを中心に構築し、有能なモデルにタスクを解く自由をより多く与えるべきだと考えています。次は、この原則を新しいタスクで、条件を揃えて検証します。ツールとオーケストレーションを一つずつ変えながら、コンテキストと呼び出しを減らしても、正確性を損なわずにより速い結果を出せるかを確かめます。
評価に関する注記
- これらの測定が評価しているのは、抽出したコーディングハーネスであり、ホスト型のプロダクトではありません。プロバイダーのルートや実行基盤が別であるため、因果関係や厳密な同等性を主張することはできません。1
- 解決時間には、セットアップ、試行前のキュー待ち、検証を含みません。図 4 は Reason の 1 回目の実行のみを示しており、集計した図表は両方の実行を含みます。1
- 9 月 14 日更新:Reason は 226 件の割り当てのうち、合格 165 件、失敗 61 件で、未採点の結果はありません。Kea はセットアップ失敗後の新しい試行で失敗し、Pwntools は変更していないパッチを再採点したところ合格しました。採点済みの失敗を置き換えたものはありません。JSON には元の結果と復旧の詳細が保存されています。公表スコアでは Datacurve の採点ルールを維持しています。123
- 実行結果、集計スコア、解決時間は結果の JSON に掲載しています。1
参考文献
<a id="ref-1"></a>[1] Reason. DeepSWE v1.1.実行結果と集計データ(JSON).
<a id="ref-2"></a>[2] Datacurve. DeepSWE v1.1.報告方法·公表済みリーダーボード.
<a id="ref-3"></a>[3] Datacurve。DeepSWE v1.1 実行データ。試行ブラウザ·生の試行インデックス.
<a id="ref-4"></a>[4] Datacurve. DeepSWE: Measuring frontier coding agents.評価方法.
<a id="ref-5"></a>[5] Datacurve / Harbor。DeepSWE v1.1、113 タスク。データセット.
<a id="ref-6"></a>[6] NIST/SEMATECH. e-Handbook of Statistical Methods, §7.2.4.1.比率の Wilson 信頼区間.