{
  "schema_version": "1.1.0",
  "updated_at": "2026-09-14T07:05:00.816208Z",
  "published_completion": {
    "source": "https://deepswe.datacurve.ai/artifacts/v1.1/trials.json",
    "retrieved": "2026-09-14",
    "sha256": "82ce1362e3a3e70aef67e3565849e3fea42861ab32900f45052cccb5675d51bf",
    "denominator": "All available exported trials, including scoring exclusions; original assignments may be absent after fairness filtering.",
    "series": [
      {
        "key": "mini_swe_agent_gemini_3_8_flash_high",
        "label": "Gemini 3.8 Flash",
        "effort": "high",
        "harness": "mini-swe-agent",
        "n": 447,
        "tasks": 113,
        "excludedFromScore": 0,
        "timingSources": [
          "trial_summary"
        ],
        "times": [
          4.6024948000000006,
          4.9810444333333335,
          5.1162538500000005,
          5.258333266666667,
          5.26342305,
          5.276834016666667,
          5.313906183333333,
          5.4489289166666675,
          5.48433985,
          5.50571105,
          5.585788216666667,
          5.668159883333333,
          5.6848549833333335,
          5.8193858,
          5.825713183333334,
          5.836529283333333,
          5.859631133333334,
          5.893061633333334,
          5.907860533333333,
          5.92801135,
          5.955486016666667,
          6.028771466666667,
          6.124573516666667,
          6.256724666666667,
          6.268670733333334,
          6.29740745,
          6.3006687999999995,
          6.305412816666666,
          6.333523616666667,
          6.3445923,
          6.4300183833333335,
          6.43135095,
          6.441834066666667,
          6.576335599999999,
          6.67772615,
          6.688492083333333,
          6.711466133333333,
          6.755006833333334,
          6.781652133333334,
          6.851050266666666,
          6.878279016666666,
          6.979390983333333,
          6.987688433333333,
          6.994983283333334,
          7.008856866666666,
          7.010677866666667,
          7.026057366666667,
          7.045154033333334,
          7.075360233333333,
          7.299808933333334,
          7.302262799999999,
          7.3382797166666665,
          7.3385585,
          7.3612527,
          7.3845273166666665,
          7.39077755,
          7.399371516666666,
          7.429735216666667,
          7.467581816666667,
          7.468672799999999,
          7.4716454,
          7.496821966666667,
          7.515542766666667,
          7.5672976,
          7.594028333333333,
          7.5986051833333335,
          7.638825566666667,
          7.6565970000000005,
          7.697867883333333,
          7.71392885,
          7.735753366666667,
          7.749039483333333,
          7.7994862666666664,
          7.8044959,
          7.891995483333333,
          7.94239955,
          7.9789214,
          8.001385216666668,
          8.0394807,
          8.048284666666667,
          8.058012816666666,
          8.070012133333334,
          8.0934185,
          8.126284183333333,
          8.13135555,
          8.141353833333334,
          8.141916233333333,
          8.153244383333334,
          8.156039400000001,
          8.168629983333334,
          8.246064783333333,
          8.256700083333333,
          8.264230183333334,
          8.320441333333333,
          8.33863365,
          8.376711716666668,
          8.421047533333333,
          8.425342466666667,
          8.429050316666666,
          8.444858016666666,
          8.456634616666667,
          8.461034616666668,
          8.464350716666667,
          8.4802018,
          8.491526616666667,
          8.686545866666668,
          8.723866533333334,
          8.745437283333333,
          8.751243383333334,
          8.807908383333334,
          8.8813174,
          8.8864316,
          8.894331216666666,
          8.895127449999999,
          8.928362016666666,
          8.932561083333333,
          8.94748495,
          8.951310766666667,
          8.966251033333332,
          9.010604666666667,
          9.029680533333334,
          9.051984299999999,
          9.0565791,
          9.074432216666667,
          9.082539966666667,
          9.093429266666668,
          9.147226766666668,
          9.158579516666666,
          9.165236416666666,
          9.180248133333333,
          9.19731625,
          9.197507733333333,
          9.21548095,
          9.260155266666667,
          9.27335195,
          9.294231916666666,
          9.310172249999999,
          9.310557,
          9.3175941,
          9.418129516666665,
          9.460015666666667,
          9.492475683333334,
          9.5056021,
          9.602789966666668,
          9.612603866666666,
          9.675586383333332,
          9.67754305,
          9.75039865,
          9.752545099999999,
          9.753597683333334,
          9.812297883333335,
          9.822774333333333,
          9.826746583333334,
          9.8384413,
          9.844198500000001,
          9.852778800000001,
          9.85832905,
          9.878858016666667,
          9.898529566666667,
          9.908231666666667,
          9.9345343,
          9.9855173,
          10.0773973,
          10.077738233333333,
          10.109794133333333,
          10.1138848,
          10.1511899,
          10.198161116666666,
          10.214651533333333,
          10.219700999999999,
          10.263755416666667,
          10.2877967,
          10.302741300000001,
          10.3444944,
          10.363582549999999,
          10.364661916666668,
          10.3869866,
          10.3911129,
          10.403006433333333,
          10.425746966666667,
          10.447513233333332,
          10.481878166666666,
          10.496081616666666,
          10.505911333333334,
          10.528383916666666,
          10.543669783333334,
          10.585231783333334,
          10.599386966666666,
          10.608890466666667,
          10.660078133333334,
          10.680444999999999,
          10.683070033333333,
          10.767222716666668,
          10.768396099999999,
          10.781352450000002,
          10.803176616666667,
          10.861296733333335,
          10.891238516666666,
          10.95818775,
          10.97102375,
          11.049377533333335,
          11.051471616666667,
          11.0703651,
          11.076324699999999,
          11.1515408,
          11.17797545,
          11.279502016666667,
          11.284239633333334,
          11.308617700000001,
          11.381206866666668,
          11.415768466666666,
          11.427740199999999,
          11.44338675,
          11.444417216666666,
          11.45578635,
          11.467794066666666,
          11.605587666666667,
          11.615050183333333,
          11.617969533333333,
          11.642494966666668,
          11.644143633333334,
          11.680501099999999,
          11.714001883333333,
          11.74148405,
          11.787270333333334,
          11.875650016666667,
          11.883530133333332,
          11.904583266666666,
          11.926086249999999,
          11.926547216666668,
          11.942444866666667,
          11.9524739,
          12.016662433333332,
          12.054715833333335,
          12.095646649999999,
          12.099876633333334,
          12.114945133333332,
          12.159884766666666,
          12.284940083333334,
          12.407567533333333,
          12.4081414,
          12.536895166666666,
          12.674184516666665,
          12.69350265,
          12.760999616666668,
          12.8218868,
          12.9348855,
          12.939356183333333,
          12.97654565,
          13.023434366666667,
          13.023654716666666,
          13.326999050000001,
          13.4498529,
          13.482655683333332,
          13.484360566666668,
          13.658532616666667,
          13.667973916666666,
          13.713845733333333,
          13.717799916666667,
          13.7300181,
          13.743503566666668,
          13.755874949999999,
          13.927127283333334,
          14.027514433333332,
          14.048155316666668,
          14.0631193,
          14.196172466666667,
          14.255356533333332,
          14.288699650000002,
          14.437073166666666,
          14.455685766666667,
          14.465468,
          14.581270983333333,
          14.637547933333334,
          14.702646249999999,
          14.761572050000002,
          14.785753333333334,
          14.8250755,
          14.966034666666667,
          14.971323416666667,
          15.04853795,
          15.171456616666667,
          15.277118183333332,
          15.50562065,
          15.6294895,
          16.14455871666667,
          16.14902255,
          16.317900266666665,
          16.430375266666665,
          16.713965116666667,
          16.749247033333333,
          17.029706216666668,
          17.093166049999997,
          17.2676399,
          17.358149883333333,
          17.71953788333333,
          17.778539133333332,
          17.789276500000003,
          17.82393605,
          18.287107133333333,
          18.468142783333334,
          18.573038933333333,
          18.762871116666666,
          18.779483799999998,
          18.789565266666667,
          19.022468516666667,
          19.668965949999997,
          19.723637133333334,
          20.017281233333332,
          20.157806166666667,
          20.3673462,
          20.64974925,
          21.942730166666667,
          22.868841566666667,
          23.3766955,
          24.096610100000003,
          24.32228758333333,
          24.328953866666666,
          25.258407416666667,
          25.597489833333334,
          25.71059055,
          26.059690566666667,
          26.45328885,
          27.799352733333333,
          28.14036916666667,
          32.5913852,
          35.36680415,
          37.68787278333333,
          47.8689606,
          54.25142815
        ]
      },
      {
        "key": "mini_swe_agent_gpt_5_6_sol_high",
        "label": "GPT-5.6 Sol",
        "effort": "high",
        "harness": "mini-swe-agent",
        "n": 452,
        "tasks": 113,
        "excludedFromScore": 1,
        "timingSources": [
          "trial_summary"
        ],
        "times": [
          3.7195478833333335,
          4.1251165499999995,
          4.150520466666666,
          4.3374958,
          4.375655933333333,
          4.6802495833333335,
          4.738917150000001,
          4.785347883333333,
          4.8239612166666666,
          4.843255216666666,
          4.974745749999999,
          4.983439716666667,
          5.036609233333333,
          5.107594483333333,
          5.124235166666667,
          5.273862683333333,
          5.30639785,
          5.359224616666666,
          5.362510366666667,
          5.370910933333334,
          5.372651216666667,
          5.377955283333334,
          5.381485716666666,
          5.43817475,
          5.4617072,
          5.480151449999999,
          5.488785466666667,
          5.490739366666667,
          5.564217566666667,
          5.628807116666667,
          5.6291580833333335,
          5.637508749999999,
          5.661100899999999,
          5.699802283333333,
          5.715153683333333,
          5.7862389,
          5.7938696,
          5.820098583333333,
          5.848866816666667,
          5.88001855,
          5.956895650000001,
          5.970305616666667,
          6.00485915,
          6.0802976,
          6.08032195,
          6.082884016666667,
          6.111006783333334,
          6.1132230666666665,
          6.1152382833333325,
          6.11658,
          6.129553016666667,
          6.181597816666667,
          6.211657366666667,
          6.222704883333334,
          6.246025116666667,
          6.267143783333333,
          6.27749215,
          6.318783333333333,
          6.3642479,
          6.382269866666666,
          6.384533516666666,
          6.4031399,
          6.471444050000001,
          6.476034366666667,
          6.4816597,
          6.483861083333333,
          6.485177816666666,
          6.506661449999999,
          6.5191028,
          6.561802416666667,
          6.5679677,
          6.62597375,
          6.6494629666666665,
          6.68983115,
          6.7256913166666665,
          6.7258536,
          6.736316066666666,
          6.737048183333333,
          6.740867616666667,
          6.7414572999999995,
          6.742537166666667,
          6.7563209,
          6.788283183333333,
          6.830244766666667,
          6.8306274,
          6.862616766666666,
          6.866785916666667,
          6.877264366666666,
          6.9144899,
          6.930907716666667,
          6.937770116666667,
          6.94580245,
          6.9923023833333335,
          7.007692133333333,
          7.0263224,
          7.042051933333334,
          7.062348966666667,
          7.087518666666667,
          7.103573233333334,
          7.126776816666666,
          7.176486033333333,
          7.194341683333334,
          7.210140383333334,
          7.30102965,
          7.314682866666667,
          7.323699416666667,
          7.3370086,
          7.340143933333334,
          7.365784966666666,
          7.379702483333333,
          7.434833883333334,
          7.43791145,
          7.47746245,
          7.484505966666666,
          7.510178916666666,
          7.522107683333333,
          7.528197783333334,
          7.54033075,
          7.561509366666667,
          7.591611066666667,
          7.59216195,
          7.59600575,
          7.60882275,
          7.6499328,
          7.66088245,
          7.661660316666667,
          7.707470883333333,
          7.732124716666666,
          7.786383116666667,
          7.805451433333333,
          7.834284433333334,
          7.83508445,
          7.846981816666667,
          7.8740954499999996,
          7.879454083333333,
          7.9060800166666665,
          7.938671616666666,
          7.951061533333333,
          8.11469925,
          8.136192083333333,
          8.137214483333333,
          8.156815033333334,
          8.167343533333334,
          8.209751200000001,
          8.21748575,
          8.228777133333333,
          8.2567564,
          8.421193016666667,
          8.432969583333334,
          8.436239516666667,
          8.4408591,
          8.470782733333333,
          8.514939700000001,
          8.534904816666666,
          8.552167233333334,
          8.579731966666666,
          8.581071016666668,
          8.605928766666667,
          8.621644683333333,
          8.715961066666667,
          8.7344689,
          8.750816016666667,
          8.7696795,
          8.795472100000001,
          8.852884216666666,
          8.863372683333333,
          8.881758033333334,
          8.885135850000001,
          8.888917566666667,
          8.913864833333333,
          8.936048966666668,
          8.955892333333333,
          8.96387095,
          9.008440533333333,
          9.054368616666666,
          9.08038525,
          9.085668666666667,
          9.130497783333334,
          9.161869616666667,
          9.169706016666668,
          9.197804716666667,
          9.219830266666666,
          9.220648933333333,
          9.248408583333333,
          9.2485682,
          9.269327966666667,
          9.2729196,
          9.291038200000001,
          9.29333285,
          9.296087683333333,
          9.338430183333333,
          9.38880505,
          9.408234966666667,
          9.4958926,
          9.5459512,
          9.552481949999999,
          9.553402049999999,
          9.557312266666665,
          9.565777200000001,
          9.565881433333335,
          9.577962666666668,
          9.603951966666667,
          9.709970266666666,
          9.731848183333334,
          9.782249716666666,
          9.809905149999999,
          9.811732866666667,
          9.844616883333334,
          9.853033716666665,
          9.863898766666667,
          9.905922083333333,
          9.987024116666667,
          10.046167283333334,
          10.087941216666668,
          10.224124533333333,
          10.233506266666666,
          10.287139316666666,
          10.296020816666667,
          10.31060955,
          10.3505786,
          10.3748785,
          10.404494966666666,
          10.473284083333334,
          10.505876366666666,
          10.531242983333334,
          10.5449745,
          10.616953166666667,
          10.642335050000002,
          10.7799057,
          10.818299,
          10.875894233333334,
          10.894096633333334,
          10.898655,
          10.898723200000001,
          10.90346415,
          10.95503815,
          10.97372575,
          10.998078833333333,
          11.044163666666666,
          11.044432833333333,
          11.116902466666666,
          11.132412783333333,
          11.149400866666667,
          11.179040816666665,
          11.220335633333333,
          11.244691416666665,
          11.2750578,
          11.288036533333333,
          11.401623066666668,
          11.794973783333335,
          11.806508033333333,
          11.844033366666668,
          11.8506265,
          11.967149933333333,
          11.974080933333333,
          12.04678745,
          12.155366633333333,
          12.513499233333333,
          12.549520766666665,
          12.830853066666666,
          12.898157450000001,
          12.941522383333334,
          13.0308648,
          13.188852800000001,
          13.24294245,
          13.265660766666667,
          13.312942516666668,
          13.58320875,
          13.87711035,
          13.896629566666666,
          13.972242583333333,
          14.102514866666667,
          14.12603275,
          14.140574483333333,
          14.213241033333333,
          14.238420383333333,
          14.244245900000001,
          14.312741149999999,
          14.512941566666665,
          14.603116833333333,
          14.688322766666666,
          14.86565815,
          14.95889955,
          15.2951204,
          15.502604,
          15.546559383333333,
          15.740774499999999,
          15.843099333333333,
          16.283590333333333,
          16.40286175,
          16.96823575,
          17.4282638,
          17.780949116666665,
          18.077562683333333,
          18.807845466666667,
          18.914710666666668,
          19.090152466666666,
          19.476875283333335,
          21.3911234,
          21.471518033333332,
          21.731384366666667,
          21.786728999999998,
          22.380594016666667,
          23.996555366666666,
          26.763196883333332,
          26.817974250000002,
          26.87025065,
          27.677728616666666,
          28.31863613333333,
          30.290425266666666,
          33.18319091666667,
          37.37022103333334,
          39.08123246666666
        ]
      },
      {
        "key": "mini_swe_agent_claude_opus_5_medium",
        "label": "Claude Opus 5",
        "effort": "medium",
        "harness": "mini-swe-agent",
        "n": 452,
        "tasks": 113,
        "excludedFromScore": 5,
        "timingSources": [
          "trial_summary"
        ],
        "times": [
          3.25430705,
          4.050994033333334,
          4.1658401,
          4.181108983333333,
          4.285387166666666,
          4.651968283333333,
          4.669435916666667,
          4.7239333666666665,
          4.749932233333333,
          4.7553948,
          4.8034737666666665,
          4.865810716666667,
          4.8997968,
          4.911034533333334,
          4.944980766666666,
          4.9673311,
          5.032888833333333,
          5.144104216666666,
          5.1788717,
          5.1915908,
          5.192792566666666,
          5.226054233333333,
          5.27457335,
          5.295645466666667,
          5.3304348500000005,
          5.353288633333333,
          5.435221483333334,
          5.445977466666666,
          5.476646400000001,
          5.515986333333333,
          5.546175750000001,
          5.570034816666666,
          5.575420766666666,
          5.602368233333333,
          5.60314595,
          5.631831333333333,
          5.698506666666666,
          5.7235422499999995,
          5.773987583333334,
          5.8057261,
          5.80928545,
          5.818324433333333,
          5.83610125,
          5.8911972,
          5.915234333333333,
          5.9299318,
          5.940633966666667,
          5.978738983333333,
          5.981725433333334,
          5.9871763499999995,
          5.992671183333333,
          6.016824833333334,
          6.053137899999999,
          6.05921705,
          6.071245433333333,
          6.07931195,
          6.11003345,
          6.1240806333333335,
          6.165280966666667,
          6.169027166666667,
          6.179439116666667,
          6.20308785,
          6.22690135,
          6.258256666666667,
          6.263856983333333,
          6.267232699999999,
          6.308739983333334,
          6.403522083333333,
          6.45588015,
          6.457720083333333,
          6.488087183333334,
          6.493605616666667,
          6.5159766,
          6.5362627,
          6.56283585,
          6.587631783333333,
          6.5970011,
          6.622795683333334,
          6.649382733333334,
          6.682658016666666,
          6.68766185,
          6.7093322,
          6.719472783333333,
          6.7428077,
          6.833194533333333,
          6.91488335,
          6.920980883333333,
          6.938696783333333,
          6.941478849999999,
          7.003158099999999,
          7.027162766666667,
          7.0418505,
          7.074598333333333,
          7.096884133333333,
          7.1047049666666675,
          7.232389783333333,
          7.257779333333334,
          7.315825833333333,
          7.326342316666667,
          7.328292616666667,
          7.464189766666666,
          7.535834466666667,
          7.5889546333333335,
          7.6270331,
          7.64614625,
          7.683764916666666,
          7.7734014,
          7.853853383333333,
          7.8592176,
          7.89873785,
          7.940594466666667,
          7.9730857166666675,
          7.975629933333334,
          7.983884616666667,
          8.127235583333334,
          8.129625983333334,
          8.140887633333334,
          8.249133666666667,
          8.286438116666666,
          8.308708183333334,
          8.334472983333333,
          8.40793435,
          8.45429805,
          8.455842916666667,
          8.521984516666667,
          8.531950816666667,
          8.536175333333334,
          8.554318616666666,
          8.62617995,
          8.63251365,
          8.663100516666667,
          8.669642416666667,
          8.814041483333334,
          8.84289835,
          8.869211400000001,
          9.013703883333333,
          9.042510933333334,
          9.051365683333334,
          9.054785133333333,
          9.188855533333333,
          9.199114516666667,
          9.218437766666666,
          9.37623645,
          9.460453766666665,
          9.540553283333333,
          9.653224283333333,
          9.65585915,
          9.683039299999999,
          9.692820666666668,
          9.73023165,
          9.785026749999998,
          9.817386983333334,
          9.818785850000001,
          9.823222249999999,
          9.908275666666666,
          9.924700866666665,
          9.92885275,
          9.977078366666666,
          10.008174216666667,
          10.11977715,
          10.130266866666666,
          10.15228885,
          10.168926,
          10.209518716666667,
          10.254872316666667,
          10.290245116666666,
          10.313612633333333,
          10.320365916666667,
          10.351518650000001,
          10.356518883333333,
          10.369300033333333,
          10.466429533333333,
          10.526635083333334,
          10.61398245,
          10.724796683333333,
          10.759862866666667,
          10.779387033333334,
          10.781503783333333,
          10.838926383333334,
          10.869855300000001,
          11.094326283333334,
          11.127958683333333,
          11.202639583333333,
          11.205660466666666,
          11.289651833333332,
          11.548057566666667,
          11.560509666666666,
          11.564206433333334,
          11.643008400000001,
          11.661445266666668,
          11.723417633333334,
          11.765623699999999,
          11.783842016666666,
          11.793605483333332,
          11.86525885,
          11.952636016666666,
          12.137145283333332,
          12.164635183333333,
          12.67481615,
          12.705698416666667,
          12.717276916666666,
          12.741389733333333,
          12.765611466666666,
          12.839876016666667,
          12.859692683333332,
          12.9121276,
          12.954936783333332,
          13.117477133333333,
          13.140693,
          13.16420495,
          13.338787116666667,
          13.375345133333333,
          13.399465300000001,
          13.57318255,
          13.663423349999999,
          13.796044616666668,
          14.197144016666666,
          14.330563533333333,
          14.64899415,
          14.658161866666667,
          14.825609233333333,
          14.936681349999999,
          14.987979033333334,
          15.154749,
          15.17582665,
          15.198191766666667,
          15.4552186,
          15.491540716666666,
          15.506187733333332,
          15.527473983333334,
          15.582713883333334,
          15.594625866666666,
          15.611353133333333,
          15.621778166666667,
          16.740645733333334,
          16.889067583333333,
          16.9105223,
          16.922489183333333,
          17.01917545,
          17.2198198,
          17.238728583333334,
          17.293669766666667,
          17.638119099999997,
          17.776346016666665,
          17.869251683333335,
          17.9738519,
          17.994289916666666,
          18.164972616666667,
          18.228656033333333,
          18.314402366666666,
          18.50065803333333,
          18.806452316666665,
          19.041151983333336,
          19.178181933333335,
          19.423797666666665,
          19.755534683333334,
          19.9480964,
          20.0672326,
          20.077077816666666,
          20.087474333333333,
          20.6201254,
          20.727026133333332,
          20.974768016666665,
          21.10731975,
          21.19091158333333,
          21.583206299999997,
          21.9717414,
          22.025428583333333,
          22.040828949999998,
          22.183363699999997,
          22.438698816666665,
          22.4569781,
          22.738080633333333,
          22.775807816666667,
          22.787107316666667,
          23.187041416666666,
          23.774039166666668,
          24.28252216666667,
          24.415690066666667,
          24.42737125,
          25.609678666666664,
          26.125931433333335,
          26.260081033333332,
          26.72635991666667,
          26.866236866666668,
          27.368806983333332,
          27.717714316666665,
          27.720320533333332,
          27.7559899,
          28.933781533333335,
          29.5839793,
          29.72873218333333,
          29.893094366666666,
          30.084157566666665,
          30.27321926666667,
          30.7707501,
          30.88776425,
          31.045060850000002,
          31.714366050000002,
          32.369494716666665,
          32.44974896666667,
          33.3802955,
          34.19489676666667,
          35.34373483333333,
          36.95710128333334,
          47.72402881666667,
          57.74071156666666,
          78.33336148333333
        ]
      }
    ],
    "time_unit": "minutes",
    "metric": "Final passing attempts completed by recorded agent time, divided by all exported trials for the configuration."
  },
  "benchmark": {
    "name": "DeepSWE",
    "version": "1.1",
    "tasks": 113,
    "dataset_revision": "0b9fabbb63b9104d678fe965e1632f2dd9eaa2ea"
  },
  "scope": "The extracted coding-harness Astra campaigns and published references used by the article, not hosted-product performance. Not a complete experiment archive.",
  "definitions": {
    "success": "Confirmed passes / all assigned attempts locally; published scores retain their scored denominators.",
    "minutes": "Agent-execution time, excluding setup, pre-trial queueing and verification. Null means timing is unavailable.",
    "outcomes": "pass, fail or ungraded. Ungraded attempts remain in the assigned denominator.",
    "wilson95": "Two-sided 95% Wilson score intervals without continuity correction; pooled attempts, repeated-task dependence unadjusted.",
    "comparison": "Same model and effort, separate campaigns. Reason used a direct-provider controller; Codex used a cloud/accounting gateway. Execution conditions differ; not a causal harness ablation.",
    "grading": "Recovery-adjusted Reason results include one fresh Kea attempt after a pre-solver setup failure and one unchanged-saved-patch Pwntools regrade. Original outcomes and recovery evidence are retained per task. Codex includes unchanged-saved-patch grading recovery. No graded failures were replaced.",
    "recovery_accounting": "226 assigned Reason slots, 227 physical attempts including the failed setup and its replacement; 226 solver executions. Original Reason totals were 164 pass, 60 fail, 2 ungraded. Recovery-adjusted totals are 165 pass, 61 fail, 0 ungraded. Original outcomes remain recorded per task.",
    "completion_curve": "Final passing attempts arranged by recorded solving time, divided by all assignments; retrospective, not a deadline-limited experiment.",
    "shared_success": "Tasks where both Reason repetitions and Codex passed. Reason times are averaged within each task, then tasks weighted equally."
  },
  "runs": [
    {
      "id": "reason-astra-1",
      "agent": "Reason Agent",
      "model": "gpt-6-astra",
      "effort": "xhigh",
      "repetition": 1,
      "concurrency": 25,
      "summary": {
        "assigned": 113,
        "passed": 84,
        "failed": 29,
        "ungraded": 0,
        "success_fraction": 0.7433628318584071,
        "wilson95": {
          "lower": 0.6557613200313875,
          "upper": 0.8149620050205827
        },
        "timed_attempts": 113,
        "mean_solving_minutes": 15.246302584660768,
        "median_solving_minutes": 13.477172966666666
      },
      "tasks": {
        "abs-module-cache-flags": {
          "outcome": "pass",
          "minutes": 17.267507266666666
        },
        "abs-stepped-slices": {
          "outcome": "pass",
          "minutes": 8.489802133333333
        },
        "actionlint-action-pinning-lint": {
          "outcome": "pass",
          "minutes": 11.249924883333334
        },
        "adaptix-name-mapping-aliases": {
          "outcome": "pass",
          "minutes": 12.99879625
        },
        "aiomonitor-task-snapshots-diff": {
          "outcome": "pass",
          "minutes": 11.03688115
        },
        "anko-default-function-arguments": {
          "outcome": "pass",
          "minutes": 11.249377183333333
        },
        "anko-typed-variable-bindings": {
          "outcome": "pass",
          "minutes": 13.345805116666666
        },
        "arcane-drift-detection-baselines": {
          "outcome": "pass",
          "minutes": 21.940371766666665
        },
        "arktype-json-schema-refs-dependencies": {
          "outcome": "pass",
          "minutes": 20.51628035
        },
        "awilix-async-container-initialization": {
          "outcome": "pass",
          "minutes": 11.769826433333332
        },
        "bandit-incremental-cache-control": {
          "outcome": "pass",
          "minutes": 13.549572216666666
        },
        "bandit-interprocedural-taint-checks": {
          "outcome": "pass",
          "minutes": 11.976049916666666
        },
        "bandit-structured-nosec-directives": {
          "outcome": "fail",
          "minutes": 11.275290416666667
        },
        "boa-hierarchical-evaluation-cancellation": {
          "outcome": "pass",
          "minutes": 23.333223433333334
        },
        "cattrs-partial-structuring-recovery": {
          "outcome": "pass",
          "minutes": 12.64597425
        },
        "clack-async-autocomplete-options": {
          "outcome": "pass",
          "minutes": 12.094718116666666
        },
        "claude-code-by-agents-recursive-delegation": {
          "outcome": "pass",
          "minutes": 9.650520550000001
        },
        "cliffy-config-file-parsing": {
          "outcome": "pass",
          "minutes": 10.773531033333335
        },
        "csstree-shorthand-expansion-compression": {
          "outcome": "pass",
          "minutes": 11.383651533333333
        },
        "dasel-html-document-format": {
          "outcome": "pass",
          "minutes": 11.060548316666665
        },
        "dateutil-rfc5545-timezone-interop": {
          "outcome": "pass",
          "minutes": 13.09406055
        },
        "drizzle-orm-window-function-builders": {
          "outcome": "pass",
          "minutes": 15.253158383333332
        },
        "dynamodb-toolbox-conditional-attribute-requirements": {
          "outcome": "pass",
          "minutes": 37.26001073333334
        },
        "dynamodb-toolbox-lazy-recursive-schemas": {
          "outcome": "pass",
          "minutes": 44.3162611
        },
        "effect-sse-httpapi-streaming": {
          "outcome": "pass",
          "minutes": 47.46992348333333
        },
        "eicrud-keyset-pagination-cursor": {
          "outcome": "pass",
          "minutes": 16.31113825
        },
        "etree-xml-diff-patch": {
          "outcome": "fail",
          "minutes": 13.912368566666666
        },
        "expr-try-catch-errors": {
          "outcome": "pass",
          "minutes": 14.217241183333334
        },
        "fastapi-deprecation-response-headers": {
          "outcome": "pass",
          "minutes": 19.6701878
        },
        "fastapi-implicit-head-options": {
          "outcome": "pass",
          "minutes": 14.943484933333334
        },
        "fd-deterministic-multi-key-sorting": {
          "outcome": "pass",
          "minutes": 9.721907683333335
        },
        "geo-shapeindex-serialization": {
          "outcome": "pass",
          "minutes": 15.284700833333334
        },
        "go-critic-doc-link-checker": {
          "outcome": "fail",
          "minutes": 13.023828533333333
        },
        "go-genai-streamed-function-args": {
          "outcome": "pass",
          "minutes": 10.941810983333333
        },
        "go-git-worktree-merge-conflicts": {
          "outcome": "pass",
          "minutes": 15.586939266666667
        },
        "goreleaser-retry-publish-auditing": {
          "outcome": "pass",
          "minutes": 19.24686931666667
        },
        "gql-incremental-graphql-delivery": {
          "outcome": "fail",
          "minutes": 21.983633966666666
        },
        "happy-dom-abort-pending-body-reads": {
          "outcome": "pass",
          "minutes": 11.789317616666667
        },
        "happy-dom-deterministic-intersectionobserver": {
          "outcome": "fail",
          "minutes": 11.20479495
        },
        "helm-array-merge-strategies": {
          "outcome": "fail",
          "minutes": 23.81550053333333
        },
        "helm-unified-manifest-stream": {
          "outcome": "pass",
          "minutes": 14.969414483333333
        },
        "httpx-deterministic-cookie-store": {
          "outcome": "pass",
          "minutes": 9.785545683333334
        },
        "httpx-multipart-response-parsing": {
          "outcome": "pass",
          "minutes": 18.169660483333335
        },
        "httpx-streaming-json-iteration": {
          "outcome": "pass",
          "minutes": 15.067257283333333
        },
        "igel-persist-feature-schema": {
          "outcome": "fail",
          "minutes": 10.251067933333333
        },
        "ink-grid-box-layout": {
          "outcome": "fail",
          "minutes": 17.895826316666668
        },
        "ipython-session-bundle-replay": {
          "outcome": "pass",
          "minutes": 14.684886916666667
        },
        "katex-multicolumn-array-spans": {
          "outcome": "pass",
          "minutes": 9.794968933333333
        },
        "kcp-go-multiplexed-kcp-streams": {
          "outcome": "pass",
          "minutes": 18.82319838333333
        },
        "kea-atomic-signal-selectors": {
          "outcome": "fail",
          "minutes": 18.667864633333334,
          "recovery": {
            "kind": "fresh_attempt_after_setup_failure",
            "completed_at": "2026-09-14T07:05:00.816208Z",
            "original": { "outcome": "ungraded", "minutes": null },
            "candidate_sha256": "36e265d07251d9fdbf854246ad52469128ecad7e2916f38255c447007f9a602f",
            "solver_timeout_seconds": 10800,
            "verifier_timeout_seconds": 1800,
            "concurrency": 1,
            "trial_retries": 0,
            "feature_tests": { "passed": 11, "total": 12 },
            "baseline_tests": { "passed": 139, "total": 139 }
          }
        },
        "kgateway-consistent-hash-policy": {
          "outcome": "pass",
          "minutes": 21.478905049999998
        },
        "kombu-single-active-consumer-priority": {
          "outcome": "pass",
          "minutes": 11.58591755
        },
        "kombu-virtual-queue-dead-lettering": {
          "outcome": "pass",
          "minutes": 9.671193683333334
        },
        "koota-composite-trait-aspects": {
          "outcome": "pass",
          "minutes": 18.84085385
        },
        "koota-deferred-mutation-buffer": {
          "outcome": "fail",
          "minutes": 16.727899716666666
        },
        "koota-entity-snapshot-rollback": {
          "outcome": "pass",
          "minutes": 14.265494649999999
        },
        "koota-pair-relation-tracking": {
          "outcome": "fail",
          "minutes": 12.651692783333335
        },
        "koota-query-predicates": {
          "outcome": "pass",
          "minutes": 15.590800283333333
        },
        "kysely-window-grouping-helpers": {
          "outcome": "pass",
          "minutes": 12.591779466666667
        },
        "langchain-request-coalescing": {
          "outcome": "pass",
          "minutes": 15.064665983333333
        },
        "mashumaro-flattened-dataclass-fields": {
          "outcome": "pass",
          "minutes": 12.110583383333333
        },
        "meriyah-explicit-resource-declarations": {
          "outcome": "fail",
          "minutes": 11.986740766666665
        },
        "mnamer-daemon-watch-lifecycle": {
          "outcome": "pass",
          "minutes": 9.59496645
        },
        "mobly-grouped-test-barriers": {
          "outcome": "pass",
          "minutes": 11.754393850000001
        },
        "narwhals-rolling-window-suite": {
          "outcome": "pass",
          "minutes": 12.107705000000001
        },
        "numba-stencil-boundary-modes": {
          "outcome": "pass",
          "minutes": 20.94313963333333
        },
        "obsidian-linter-auto-table-of-contents": {
          "outcome": "fail",
          "minutes": 10.7464171
        },
        "obsidian-linter-link-format-conversion": {
          "outcome": "fail",
          "minutes": 11.076763866666665
        },
        "obsidian-linter-scoped-ignore-markers": {
          "outcome": "pass",
          "minutes": 12.041675133333333
        },
        "ofetch-per-origin-circuit-breaker": {
          "outcome": "pass",
          "minutes": 8.473717933333333
        },
        "onedump-dump-encryption-pipeline": {
          "outcome": "fail",
          "minutes": 12.477051233333333
        },
        "opa-rego-rule-profiling": {
          "outcome": "fail",
          "minutes": 10.945996583333335
        },
        "opa-template-string-reconstruction": {
          "outcome": "pass",
          "minutes": 22.192541600000002
        },
        "optique-conditional-option-dependencies": {
          "outcome": "fail",
          "minutes": 13.477172966666666
        },
        "oxvg-structural-selector-preservation": {
          "outcome": "fail",
          "minutes": 22.813520433333334
        },
        "participle-grammar-conflict-analysis": {
          "outcome": "fail",
          "minutes": 13.9125002
        },
        "pebble-durability-wait-apis": {
          "outcome": "pass",
          "minutes": 25.440043433333337
        },
        "pest-character-class-coalescing": {
          "outcome": "fail",
          "minutes": 11.02570855
        },
        "prometheus-transactional-reload-status": {
          "outcome": "fail",
          "minutes": 22.231836516666664
        },
        "prometheus-typed-label-sorting": {
          "outcome": "pass",
          "minutes": 12.164330833333334
        },
        "psd-tools-blend-range-api": {
          "outcome": "pass",
          "minutes": 8.682176966666667
        },
        "pwntools-tube-multiplexing": {
          "outcome": "pass",
          "minutes": 10.814480283333333,
          "recovery": {
            "kind": "unchanged_patch_regrade",
            "completed_at": "2026-09-14T06:47:08.802541Z",
            "original": { "outcome": "ungraded", "minutes": 10.814480283333333 },
            "patch_sha256": "de8e8e3ac2fbe7aef4b2d652e5e5d576978e3cd6e6ae5c41f783e34a759d4c2e",
            "verifier_framework": "Harbor 0.22.0",
            "verifier_timeout_seconds": 1800,
            "solver_executions": 0,
            "feature_tests": { "passed": 73, "total": 73 },
            "baseline_tests": { "passed": 1, "total": 1 },
            "method": "Original task and tests unchanged; recovery-copy artifact paths aligned from legacy Pier to Harbor layout. Two local preflight failures occurred before sandbox execution."
          }
        },
        "python-statemachine-state-data-scoping": {
          "outcome": "fail",
          "minutes": 17.8433007
        },
        "query-persist-restored-query-state": {
          "outcome": "pass",
          "minutes": 21.465372933333335
        },
        "quill-shared-toolbar-focus": {
          "outcome": "pass",
          "minutes": 16.024024583333333
        },
        "returns-validated-error-accumulation": {
          "outcome": "pass",
          "minutes": 15.0589782
        },
        "scc-bounded-memory-spilling": {
          "outcome": "pass",
          "minutes": 17.980939550000002
        },
        "scriggo-method-declarations": {
          "outcome": "pass",
          "minutes": 29.667365883333332
        },
        "skrub-duration-encoding": {
          "outcome": "pass",
          "minutes": 12.623413
        },
        "sql-formatter-bigquery-pipe-formatting": {
          "outcome": "pass",
          "minutes": 7.47643245
        },
        "sqlfmt-create-table-ddl-formatting": {
          "outcome": "fail",
          "minutes": 13.846898983333334
        },
        "sqlite-utils-safe-import-checkpoints": {
          "outcome": "pass",
          "minutes": 14.383344366666668
        },
        "superjson-error-stack-serialization": {
          "outcome": "pass",
          "minutes": 13.859215683333334
        },
        "task-task-graph-export": {
          "outcome": "pass",
          "minutes": 17.93016255
        },
        "tengo-callable-instance-isolation": {
          "outcome": "pass",
          "minutes": 11.45311935
        },
        "tengo-destructuring-bindings": {
          "outcome": "pass",
          "minutes": 10.265912066666667
        },
        "termenv-preserve-ansi-resets": {
          "outcome": "fail",
          "minutes": 11.421976683333332
        },
        "testem-bail-on-test-failure": {
          "outcome": "fail",
          "minutes": 18.6810395
        },
        "testem-per-launcher-reports": {
          "outcome": "fail",
          "minutes": 15.3946468
        },
        "textual-kitty-key-phases": {
          "outcome": "pass",
          "minutes": 10.922442433333334
        },
        "textual-richlog-follow-state": {
          "outcome": "pass",
          "minutes": 11.598893466666668
        },
        "tomlkit-toml-table-converters": {
          "outcome": "pass",
          "minutes": 13.09707535
        },
        "true-myth-iterable-collection-combinators": {
          "outcome": "pass",
          "minutes": 8.411099416666667
        },
        "ts-pattern-match-each": {
          "outcome": "fail",
          "minutes": 9.085602583333333
        },
        "updo-policy-alerting": {
          "outcome": "pass",
          "minutes": 12.796934016666667
        },
        "valibot-recursive-schema-composition": {
          "outcome": "pass",
          "minutes": 20.389623316666665
        },
        "vitest-duration-sharding": {
          "outcome": "pass",
          "minutes": 18.549765316666665
        },
        "vulture-persistent-analysis-cache": {
          "outcome": "fail",
          "minutes": 14.564812966666667
        },
        "wasmi-trap-coredumps": {
          "outcome": "pass",
          "minutes": 16.64035385
        },
        "wazero-multi-module-snapshots": {
          "outcome": "fail",
          "minutes": 13.633774733333333
        },
        "yaegi-go-embed-directives": {
          "outcome": "pass",
          "minutes": 22.223707133333335
        },
        "yjs-map-conflict-detection": {
          "outcome": "pass",
          "minutes": 12.979028483333334
        },
        "ytt-jsonpath-query-api": {
          "outcome": "pass",
          "minutes": 12.315787949999999
        }
      }
    },
    {
      "id": "reason-astra-2",
      "agent": "Reason Agent",
      "model": "gpt-6-astra",
      "effort": "xhigh",
      "repetition": 2,
      "concurrency": 25,
      "summary": {
        "assigned": 113,
        "passed": 81,
        "failed": 32,
        "ungraded": 0,
        "success_fraction": 0.7168141592920354,
        "wilson95": {
          "lower": 0.6276817205435545,
          "upper": 0.7916899690482009
        },
        "timed_attempts": 113,
        "mean_solving_minutes": 15.507370703539827,
        "median_solving_minutes": 13.993197
      },
      "tasks": {
        "abs-module-cache-flags": {
          "outcome": "pass",
          "minutes": 15.529331683333334
        },
        "abs-stepped-slices": {
          "outcome": "pass",
          "minutes": 10.369555516666667
        },
        "actionlint-action-pinning-lint": {
          "outcome": "pass",
          "minutes": 10.569051083333333
        },
        "adaptix-name-mapping-aliases": {
          "outcome": "pass",
          "minutes": 10.3756966
        },
        "aiomonitor-task-snapshots-diff": {
          "outcome": "pass",
          "minutes": 9.671220049999999
        },
        "anko-default-function-arguments": {
          "outcome": "pass",
          "minutes": 11.521404983333333
        },
        "anko-typed-variable-bindings": {
          "outcome": "pass",
          "minutes": 11.8769872
        },
        "arcane-drift-detection-baselines": {
          "outcome": "pass",
          "minutes": 21.6607154
        },
        "arktype-json-schema-refs-dependencies": {
          "outcome": "pass",
          "minutes": 17.592910816666667
        },
        "awilix-async-container-initialization": {
          "outcome": "fail",
          "minutes": 11.096902466666668
        },
        "bandit-incremental-cache-control": {
          "outcome": "pass",
          "minutes": 14.648439866666667
        },
        "bandit-interprocedural-taint-checks": {
          "outcome": "pass",
          "minutes": 12.258696250000002
        },
        "bandit-structured-nosec-directives": {
          "outcome": "fail",
          "minutes": 10.179576783333333
        },
        "boa-hierarchical-evaluation-cancellation": {
          "outcome": "pass",
          "minutes": 24.021001916666666
        },
        "cattrs-partial-structuring-recovery": {
          "outcome": "pass",
          "minutes": 10.406691016666667
        },
        "clack-async-autocomplete-options": {
          "outcome": "pass",
          "minutes": 10.534985716666666
        },
        "claude-code-by-agents-recursive-delegation": {
          "outcome": "pass",
          "minutes": 8.065054416666666
        },
        "cliffy-config-file-parsing": {
          "outcome": "pass",
          "minutes": 9.026063466666667
        },
        "csstree-shorthand-expansion-compression": {
          "outcome": "pass",
          "minutes": 9.221485516666666
        },
        "dasel-html-document-format": {
          "outcome": "pass",
          "minutes": 10.095620533333333
        },
        "dateutil-rfc5545-timezone-interop": {
          "outcome": "pass",
          "minutes": 13.06579395
        },
        "drizzle-orm-window-function-builders": {
          "outcome": "pass",
          "minutes": 12.65307095
        },
        "dynamodb-toolbox-conditional-attribute-requirements": {
          "outcome": "pass",
          "minutes": 25.3573923
        },
        "dynamodb-toolbox-lazy-recursive-schemas": {
          "outcome": "pass",
          "minutes": 36.84727403333333
        },
        "effect-sse-httpapi-streaming": {
          "outcome": "fail",
          "minutes": 38.57605349999999
        },
        "eicrud-keyset-pagination-cursor": {
          "outcome": "pass",
          "minutes": 13.993197
        },
        "etree-xml-diff-patch": {
          "outcome": "fail",
          "minutes": 14.13228975
        },
        "expr-try-catch-errors": {
          "outcome": "pass",
          "minutes": 14.933203099999998
        },
        "fastapi-deprecation-response-headers": {
          "outcome": "pass",
          "minutes": 21.018050916666667
        },
        "fastapi-implicit-head-options": {
          "outcome": "pass",
          "minutes": 16.561105383333334
        },
        "fd-deterministic-multi-key-sorting": {
          "outcome": "pass",
          "minutes": 8.835039683333333
        },
        "geo-shapeindex-serialization": {
          "outcome": "pass",
          "minutes": 17.713570516666667
        },
        "go-critic-doc-link-checker": {
          "outcome": "fail",
          "minutes": 10.541495466666667
        },
        "go-genai-streamed-function-args": {
          "outcome": "pass",
          "minutes": 11.758940133333335
        },
        "go-git-worktree-merge-conflicts": {
          "outcome": "pass",
          "minutes": 20.29117216666667
        },
        "goreleaser-retry-publish-auditing": {
          "outcome": "pass",
          "minutes": 19.109110983333334
        },
        "gql-incremental-graphql-delivery": {
          "outcome": "fail",
          "minutes": 13.5623439
        },
        "happy-dom-abort-pending-body-reads": {
          "outcome": "pass",
          "minutes": 15.506442016666666
        },
        "happy-dom-deterministic-intersectionobserver": {
          "outcome": "fail",
          "minutes": 11.317172883333335
        },
        "helm-array-merge-strategies": {
          "outcome": "fail",
          "minutes": 26.220806366666668
        },
        "helm-unified-manifest-stream": {
          "outcome": "pass",
          "minutes": 15.172387866666666
        },
        "httpx-deterministic-cookie-store": {
          "outcome": "pass",
          "minutes": 12.577507366666667
        },
        "httpx-multipart-response-parsing": {
          "outcome": "pass",
          "minutes": 13.2858488
        },
        "httpx-streaming-json-iteration": {
          "outcome": "pass",
          "minutes": 15.41726225
        },
        "igel-persist-feature-schema": {
          "outcome": "fail",
          "minutes": 10.338092566666667
        },
        "ink-grid-box-layout": {
          "outcome": "fail",
          "minutes": 16.681513683333332
        },
        "ipython-session-bundle-replay": {
          "outcome": "pass",
          "minutes": 13.7476127
        },
        "katex-multicolumn-array-spans": {
          "outcome": "pass",
          "minutes": 11.101441
        },
        "kcp-go-multiplexed-kcp-streams": {
          "outcome": "pass",
          "minutes": 20.444730016666664
        },
        "kea-atomic-signal-selectors": {
          "outcome": "fail",
          "minutes": 18.3392245
        },
        "kgateway-consistent-hash-policy": {
          "outcome": "fail",
          "minutes": 23.972121916666666
        },
        "kombu-single-active-consumer-priority": {
          "outcome": "pass",
          "minutes": 11.673682366666666
        },
        "kombu-virtual-queue-dead-lettering": {
          "outcome": "pass",
          "minutes": 10.469702566666665
        },
        "koota-composite-trait-aspects": {
          "outcome": "pass",
          "minutes": 24.952104966666663
        },
        "koota-deferred-mutation-buffer": {
          "outcome": "pass",
          "minutes": 22.88904635
        },
        "koota-entity-snapshot-rollback": {
          "outcome": "fail",
          "minutes": 10.960423366666667
        },
        "koota-pair-relation-tracking": {
          "outcome": "fail",
          "minutes": 15.767048833333332
        },
        "koota-query-predicates": {
          "outcome": "pass",
          "minutes": 16.2955313
        },
        "kysely-window-grouping-helpers": {
          "outcome": "pass",
          "minutes": 12.14749595
        },
        "langchain-request-coalescing": {
          "outcome": "pass",
          "minutes": 16.2499244
        },
        "mashumaro-flattened-dataclass-fields": {
          "outcome": "pass",
          "minutes": 15.223464366666667
        },
        "meriyah-explicit-resource-declarations": {
          "outcome": "fail",
          "minutes": 16.815365616666664
        },
        "mnamer-daemon-watch-lifecycle": {
          "outcome": "pass",
          "minutes": 10.909907766666667
        },
        "mobly-grouped-test-barriers": {
          "outcome": "pass",
          "minutes": 13.531604216666667
        },
        "narwhals-rolling-window-suite": {
          "outcome": "pass",
          "minutes": 13.184181633333333
        },
        "numba-stencil-boundary-modes": {
          "outcome": "pass",
          "minutes": 21.802438583333334
        },
        "obsidian-linter-auto-table-of-contents": {
          "outcome": "fail",
          "minutes": 11.89553565
        },
        "obsidian-linter-link-format-conversion": {
          "outcome": "fail",
          "minutes": 11.883416033333333
        },
        "obsidian-linter-scoped-ignore-markers": {
          "outcome": "fail",
          "minutes": 14.2561193
        },
        "ofetch-per-origin-circuit-breaker": {
          "outcome": "pass",
          "minutes": 9.11496515
        },
        "onedump-dump-encryption-pipeline": {
          "outcome": "fail",
          "minutes": 12.840171766666666
        },
        "opa-rego-rule-profiling": {
          "outcome": "fail",
          "minutes": 13.302625549999998
        },
        "opa-template-string-reconstruction": {
          "outcome": "pass",
          "minutes": 25.860470799999998
        },
        "optique-conditional-option-dependencies": {
          "outcome": "pass",
          "minutes": 20.028498366666668
        },
        "oxvg-structural-selector-preservation": {
          "outcome": "pass",
          "minutes": 27.433288899999997
        },
        "participle-grammar-conflict-analysis": {
          "outcome": "fail",
          "minutes": 12.534075416666667
        },
        "pebble-durability-wait-apis": {
          "outcome": "pass",
          "minutes": 25.80503033333333
        },
        "pest-character-class-coalescing": {
          "outcome": "fail",
          "minutes": 16.0662248
        },
        "prometheus-transactional-reload-status": {
          "outcome": "fail",
          "minutes": 19.89345095
        },
        "prometheus-typed-label-sorting": {
          "outcome": "pass",
          "minutes": 13.442134416666667
        },
        "psd-tools-blend-range-api": {
          "outcome": "pass",
          "minutes": 12.504946166666667
        },
        "pwntools-tube-multiplexing": {
          "outcome": "fail",
          "minutes": 14.275981699999999
        },
        "python-statemachine-state-data-scoping": {
          "outcome": "fail",
          "minutes": 17.166183133333334
        },
        "query-persist-restored-query-state": {
          "outcome": "pass",
          "minutes": 18.585766333333332
        },
        "quill-shared-toolbar-focus": {
          "outcome": "pass",
          "minutes": 13.973396916666667
        },
        "returns-validated-error-accumulation": {
          "outcome": "fail",
          "minutes": 10.873477233333334
        },
        "scc-bounded-memory-spilling": {
          "outcome": "pass",
          "minutes": 21.53240285
        },
        "scriggo-method-declarations": {
          "outcome": "pass",
          "minutes": 28.989609033333334
        },
        "skrub-duration-encoding": {
          "outcome": "pass",
          "minutes": 15.446601766666667
        },
        "sql-formatter-bigquery-pipe-formatting": {
          "outcome": "pass",
          "minutes": 6.368155799999999
        },
        "sqlfmt-create-table-ddl-formatting": {
          "outcome": "fail",
          "minutes": 19.4339756
        },
        "sqlite-utils-safe-import-checkpoints": {
          "outcome": "pass",
          "minutes": 14.27690015
        },
        "superjson-error-stack-serialization": {
          "outcome": "pass",
          "minutes": 15.36232525
        },
        "task-task-graph-export": {
          "outcome": "pass",
          "minutes": 17.969135583333333
        },
        "tengo-callable-instance-isolation": {
          "outcome": "pass",
          "minutes": 11.955759066666667
        },
        "tengo-destructuring-bindings": {
          "outcome": "pass",
          "minutes": 13.466991883333332
        },
        "termenv-preserve-ansi-resets": {
          "outcome": "fail",
          "minutes": 17.664323216666666
        },
        "testem-bail-on-test-failure": {
          "outcome": "fail",
          "minutes": 20.280559016666665
        },
        "testem-per-launcher-reports": {
          "outcome": "pass",
          "minutes": 13.916812499999999
        },
        "textual-kitty-key-phases": {
          "outcome": "pass",
          "minutes": 8.862605
        },
        "textual-richlog-follow-state": {
          "outcome": "pass",
          "minutes": 12.096052850000001
        },
        "tomlkit-toml-table-converters": {
          "outcome": "pass",
          "minutes": 13.314383333333334
        },
        "true-myth-iterable-collection-combinators": {
          "outcome": "pass",
          "minutes": 8.2437272
        },
        "ts-pattern-match-each": {
          "outcome": "fail",
          "minutes": 8.763770883333333
        },
        "updo-policy-alerting": {
          "outcome": "pass",
          "minutes": 10.528631933333333
        },
        "valibot-recursive-schema-composition": {
          "outcome": "pass",
          "minutes": 19.691150133333334
        },
        "vitest-duration-sharding": {
          "outcome": "pass",
          "minutes": 16.87280835
        },
        "vulture-persistent-analysis-cache": {
          "outcome": "fail",
          "minutes": 18.1369681
        },
        "wasmi-trap-coredumps": {
          "outcome": "pass",
          "minutes": 24.714167266666667
        },
        "wazero-multi-module-snapshots": {
          "outcome": "fail",
          "minutes": 12.859620583333333
        },
        "yaegi-go-embed-directives": {
          "outcome": "pass",
          "minutes": 18.971300966666668
        },
        "yjs-map-conflict-detection": {
          "outcome": "pass",
          "minutes": 14.454437916666667
        },
        "ytt-jsonpath-query-api": {
          "outcome": "pass",
          "minutes": 11.759373116666666
        }
      }
    },
    {
      "id": "codex-astra-1",
      "agent": "Codex",
      "model": "gpt-6-astra",
      "effort": "xhigh",
      "repetition": 1,
      "concurrency": 32,
      "summary": {
        "assigned": 113,
        "passed": 80,
        "failed": 33,
        "ungraded": 0,
        "success_fraction": 0.7079646017699115,
        "wilson95": {
          "lower": 0.6183975397243283,
          "upper": 0.7838569380473553
        },
        "timed_attempts": 113,
        "mean_solving_minutes": 24.208676898672564,
        "median_solving_minutes": 22.74124135
      },
      "tasks": {
        "abs-module-cache-flags": {
          "outcome": "pass",
          "minutes": 21.226012299999997
        },
        "abs-stepped-slices": {
          "outcome": "pass",
          "minutes": 18.786417266666668
        },
        "actionlint-action-pinning-lint": {
          "outcome": "pass",
          "minutes": 23.612020916666665
        },
        "adaptix-name-mapping-aliases": {
          "outcome": "pass",
          "minutes": 23.886972733333334
        },
        "aiomonitor-task-snapshots-diff": {
          "outcome": "pass",
          "minutes": 34.41514946666667
        },
        "anko-default-function-arguments": {
          "outcome": "pass",
          "minutes": 19.985591483333334
        },
        "anko-typed-variable-bindings": {
          "outcome": "pass",
          "minutes": 19.142237533333333
        },
        "arcane-drift-detection-baselines": {
          "outcome": "fail",
          "minutes": 35.395478966666666
        },
        "arktype-json-schema-refs-dependencies": {
          "outcome": "pass",
          "minutes": 23.143356866666668
        },
        "awilix-async-container-initialization": {
          "outcome": "fail",
          "minutes": 20.960636150000003
        },
        "bandit-incremental-cache-control": {
          "outcome": "pass",
          "minutes": 27.318226116666665
        },
        "bandit-interprocedural-taint-checks": {
          "outcome": "pass",
          "minutes": 23.448805516666667
        },
        "bandit-structured-nosec-directives": {
          "outcome": "fail",
          "minutes": 19.9439399
        },
        "boa-hierarchical-evaluation-cancellation": {
          "outcome": "pass",
          "minutes": 26.0532946
        },
        "cattrs-partial-structuring-recovery": {
          "outcome": "pass",
          "minutes": 18.69129601666667
        },
        "clack-async-autocomplete-options": {
          "outcome": "fail",
          "minutes": 18.90612205
        },
        "claude-code-by-agents-recursive-delegation": {
          "outcome": "pass",
          "minutes": 17.955908833333336
        },
        "cliffy-config-file-parsing": {
          "outcome": "pass",
          "minutes": 24.60615965
        },
        "csstree-shorthand-expansion-compression": {
          "outcome": "pass",
          "minutes": 18.035210716666665
        },
        "dasel-html-document-format": {
          "outcome": "pass",
          "minutes": 24.149116266666667
        },
        "dateutil-rfc5545-timezone-interop": {
          "outcome": "pass",
          "minutes": 24.0606776
        },
        "drizzle-orm-window-function-builders": {
          "outcome": "pass",
          "minutes": 23.748727966666667
        },
        "dynamodb-toolbox-conditional-attribute-requirements": {
          "outcome": "pass",
          "minutes": 35.271720316666666
        },
        "dynamodb-toolbox-lazy-recursive-schemas": {
          "outcome": "pass",
          "minutes": 50.17220965
        },
        "effect-sse-httpapi-streaming": {
          "outcome": "fail",
          "minutes": 34.353370749999996
        },
        "eicrud-keyset-pagination-cursor": {
          "outcome": "pass",
          "minutes": 24.56263123333333
        },
        "etree-xml-diff-patch": {
          "outcome": "fail",
          "minutes": 23.7154977
        },
        "expr-try-catch-errors": {
          "outcome": "pass",
          "minutes": 27.220501316666667
        },
        "fastapi-deprecation-response-headers": {
          "outcome": "pass",
          "minutes": 21.891988966666666
        },
        "fastapi-implicit-head-options": {
          "outcome": "pass",
          "minutes": 31.758610533333336
        },
        "fd-deterministic-multi-key-sorting": {
          "outcome": "pass",
          "minutes": 22.491074933333334
        },
        "geo-shapeindex-serialization": {
          "outcome": "pass",
          "minutes": 21.302466716666668
        },
        "go-critic-doc-link-checker": {
          "outcome": "fail",
          "minutes": 15.8365561
        },
        "go-genai-streamed-function-args": {
          "outcome": "pass",
          "minutes": 24.974529
        },
        "go-git-worktree-merge-conflicts": {
          "outcome": "pass",
          "minutes": 26.249224416666667
        },
        "goreleaser-retry-publish-auditing": {
          "outcome": "pass",
          "minutes": 26.750126683333335
        },
        "gql-incremental-graphql-delivery": {
          "outcome": "fail",
          "minutes": 27.41898773333333
        },
        "happy-dom-abort-pending-body-reads": {
          "outcome": "pass",
          "minutes": 22.352154616666667
        },
        "happy-dom-deterministic-intersectionobserver": {
          "outcome": "fail",
          "minutes": 27.892285516666668
        },
        "helm-array-merge-strategies": {
          "outcome": "fail",
          "minutes": 28.919657649999998
        },
        "helm-unified-manifest-stream": {
          "outcome": "pass",
          "minutes": 24.810723033333332
        },
        "httpx-deterministic-cookie-store": {
          "outcome": "pass",
          "minutes": 24.5776293
        },
        "httpx-multipart-response-parsing": {
          "outcome": "pass",
          "minutes": 24.49328175
        },
        "httpx-streaming-json-iteration": {
          "outcome": "pass",
          "minutes": 25.717582583333336
        },
        "igel-persist-feature-schema": {
          "outcome": "fail",
          "minutes": 18.091495333333334
        },
        "ink-grid-box-layout": {
          "outcome": "fail",
          "minutes": 27.682963316666665
        },
        "ipython-session-bundle-replay": {
          "outcome": "pass",
          "minutes": 22.3220946
        },
        "katex-multicolumn-array-spans": {
          "outcome": "pass",
          "minutes": 21.075307833333333
        },
        "kcp-go-multiplexed-kcp-streams": {
          "outcome": "fail",
          "minutes": 22.74124135
        },
        "kea-atomic-signal-selectors": {
          "outcome": "fail",
          "minutes": 41.03510216666667
        },
        "kgateway-consistent-hash-policy": {
          "outcome": "pass",
          "minutes": 31.668610333333334
        },
        "kombu-single-active-consumer-priority": {
          "outcome": "pass",
          "minutes": 21.624142183333333
        },
        "kombu-virtual-queue-dead-lettering": {
          "outcome": "pass",
          "minutes": 19.7295888
        },
        "koota-composite-trait-aspects": {
          "outcome": "pass",
          "minutes": 39.58921705
        },
        "koota-deferred-mutation-buffer": {
          "outcome": "pass",
          "minutes": 28.413370683333333
        },
        "koota-entity-snapshot-rollback": {
          "outcome": "fail",
          "minutes": 18.83777728333333
        },
        "koota-pair-relation-tracking": {
          "outcome": "fail",
          "minutes": 27.418392633333333
        },
        "koota-query-predicates": {
          "outcome": "fail",
          "minutes": 27.818998366666666
        },
        "kysely-window-grouping-helpers": {
          "outcome": "pass",
          "minutes": 21.709633033333333
        },
        "langchain-request-coalescing": {
          "outcome": "pass",
          "minutes": 35.267559399999996
        },
        "mashumaro-flattened-dataclass-fields": {
          "outcome": "pass",
          "minutes": 20.578333566666668
        },
        "meriyah-explicit-resource-declarations": {
          "outcome": "fail",
          "minutes": 23.8382274
        },
        "mnamer-daemon-watch-lifecycle": {
          "outcome": "pass",
          "minutes": 20.980521516666666
        },
        "mobly-grouped-test-barriers": {
          "outcome": "pass",
          "minutes": 20.736559016666668
        },
        "narwhals-rolling-window-suite": {
          "outcome": "pass",
          "minutes": 26.18013085
        },
        "numba-stencil-boundary-modes": {
          "outcome": "pass",
          "minutes": 25.062460333333334
        },
        "obsidian-linter-auto-table-of-contents": {
          "outcome": "fail",
          "minutes": 22.277021716666663
        },
        "obsidian-linter-link-format-conversion": {
          "outcome": "fail",
          "minutes": 17.784860366666667
        },
        "obsidian-linter-scoped-ignore-markers": {
          "outcome": "pass",
          "minutes": 30.319882466666666
        },
        "ofetch-per-origin-circuit-breaker": {
          "outcome": "pass",
          "minutes": 13.951427366666667
        },
        "onedump-dump-encryption-pipeline": {
          "outcome": "fail",
          "minutes": 15.986584233333334
        },
        "opa-rego-rule-profiling": {
          "outcome": "fail",
          "minutes": 18.028289716666666
        },
        "opa-template-string-reconstruction": {
          "outcome": "fail",
          "minutes": 32.31380201666666
        },
        "optique-conditional-option-dependencies": {
          "outcome": "pass",
          "minutes": 42.72244621666667
        },
        "oxvg-structural-selector-preservation": {
          "outcome": "pass",
          "minutes": 40.0683238
        },
        "participle-grammar-conflict-analysis": {
          "outcome": "fail",
          "minutes": 22.461636
        },
        "pebble-durability-wait-apis": {
          "outcome": "pass",
          "minutes": 30.86695778333333
        },
        "pest-character-class-coalescing": {
          "outcome": "fail",
          "minutes": 30.6724633
        },
        "prometheus-transactional-reload-status": {
          "outcome": "pass",
          "minutes": 25.70730975
        },
        "prometheus-typed-label-sorting": {
          "outcome": "pass",
          "minutes": 19.07293758333333
        },
        "psd-tools-blend-range-api": {
          "outcome": "pass",
          "minutes": 21.815766933333336
        },
        "pwntools-tube-multiplexing": {
          "outcome": "fail",
          "minutes": 18.865357233333334
        },
        "python-statemachine-state-data-scoping": {
          "outcome": "fail",
          "minutes": 36.38036494999999
        },
        "query-persist-restored-query-state": {
          "outcome": "pass",
          "minutes": 32.828587983333335
        },
        "quill-shared-toolbar-focus": {
          "outcome": "pass",
          "minutes": 28.112136916666667
        },
        "returns-validated-error-accumulation": {
          "outcome": "pass",
          "minutes": 27.159513683333333
        },
        "scc-bounded-memory-spilling": {
          "outcome": "pass",
          "minutes": 24.517844649999997
        },
        "scriggo-method-declarations": {
          "outcome": "pass",
          "minutes": 40.30394556666667
        },
        "skrub-duration-encoding": {
          "outcome": "pass",
          "minutes": 19.17398015
        },
        "sql-formatter-bigquery-pipe-formatting": {
          "outcome": "pass",
          "minutes": 14.87477855
        },
        "sqlfmt-create-table-ddl-formatting": {
          "outcome": "fail",
          "minutes": 27.490515416666664
        },
        "sqlite-utils-safe-import-checkpoints": {
          "outcome": "pass",
          "minutes": 27.9146032
        },
        "superjson-error-stack-serialization": {
          "outcome": "pass",
          "minutes": 21.420838800000002
        },
        "task-task-graph-export": {
          "outcome": "pass",
          "minutes": 19.662510883333333
        },
        "tengo-callable-instance-isolation": {
          "outcome": "pass",
          "minutes": 21.143683416666665
        },
        "tengo-destructuring-bindings": {
          "outcome": "pass",
          "minutes": 17.913945316666666
        },
        "termenv-preserve-ansi-resets": {
          "outcome": "fail",
          "minutes": 16.1860352
        },
        "testem-bail-on-test-failure": {
          "outcome": "fail",
          "minutes": 19.76253931666667
        },
        "testem-per-launcher-reports": {
          "outcome": "pass",
          "minutes": 19.65853095
        },
        "textual-kitty-key-phases": {
          "outcome": "pass",
          "minutes": 17.95578015
        },
        "textual-richlog-follow-state": {
          "outcome": "pass",
          "minutes": 19.8167793
        },
        "tomlkit-toml-table-converters": {
          "outcome": "pass",
          "minutes": 19.790216333333333
        },
        "true-myth-iterable-collection-combinators": {
          "outcome": "pass",
          "minutes": 15.427152416666667
        },
        "ts-pattern-match-each": {
          "outcome": "fail",
          "minutes": 15.676963933333333
        },
        "updo-policy-alerting": {
          "outcome": "pass",
          "minutes": 17.222018816666665
        },
        "valibot-recursive-schema-composition": {
          "outcome": "pass",
          "minutes": 20.523791033333335
        },
        "vitest-duration-sharding": {
          "outcome": "pass",
          "minutes": 16.89456455
        },
        "vulture-persistent-analysis-cache": {
          "outcome": "fail",
          "minutes": 20.462768349999997
        },
        "wasmi-trap-coredumps": {
          "outcome": "pass",
          "minutes": 23.491926333333332
        },
        "wazero-multi-module-snapshots": {
          "outcome": "fail",
          "minutes": 19.230662849999998
        },
        "yaegi-go-embed-directives": {
          "outcome": "pass",
          "minutes": 19.235443916666668
        },
        "yjs-map-conflict-detection": {
          "outcome": "pass",
          "minutes": 14.26203265
        },
        "ytt-jsonpath-query-api": {
          "outcome": "pass",
          "minutes": 15.565071016666668
        }
      }
    }
  ],
  "aggregates": [
    {
      "agent": "Reason Agent",
      "model": "gpt-6-astra",
      "effort": "xhigh",
      "run_ids": [
        "reason-astra-1",
        "reason-astra-2"
      ],
      "assigned": 226,
      "passed": 165,
      "failed": 61,
      "ungraded": 0,
      "success_fraction": 0.7300884955752213,
      "wilson95": {
        "lower": 0.6687247196783941,
        "upper": 0.7837610961253307
      },
      "timed_attempts": 226,
      "mean_solving_minutes": 15.376836644100296,
      "median_solving_minutes": 13.797255841666667
    },
    {
      "agent": "Codex",
      "model": "gpt-6-astra",
      "effort": "xhigh",
      "run_ids": [
        "codex-astra-1"
      ],
      "assigned": 113,
      "passed": 80,
      "failed": 33,
      "ungraded": 0,
      "success_fraction": 0.7079646017699115,
      "wilson95": {
        "lower": 0.6183975397243283,
        "upper": 0.7838569380473553
      },
      "timed_attempts": 113,
      "mean_solving_minutes": 24.208676898672568,
      "median_solving_minutes": 22.74124135
    }
  ],
  "comparisons": {
    "median_solving_time_reduction_fraction": 0.393293636467797,
    "shared_success": {
      "tasks": 72,
      "reason_mean_minutes": 14.898317005439814,
      "codex_mean_minutes": 23.548276481944455,
      "reduction_fraction": 0.3673287717314242
    }
  },
  "published_reference": {
    "source_url": "https://deepswe.datacurve.ai/artifacts/v1.1/leaderboard-live.json",
    "snapshot_generated_at": "2026-09-03T22:24:37.984682+00:00",
    "configurations": [
      {
        "model": "gpt-6-astra",
        "harness": "mini-swe-agent",
        "effort": "xhigh",
        "passed": 335,
        "scored_attempts": 452,
        "success_fraction": 0.7411504424778761,
        "wilson95": {
          "lower": 0.6988583811908001,
          "upper": 0.7793780665513316
        }
      },
      {
        "model": "gemini-3-8-flash",
        "harness": "mini-swe-agent",
        "effort": "high",
        "passed": 330,
        "scored_attempts": 447,
        "success_fraction": 0.738255033557047,
        "wilson95": {
          "lower": 0.6955973259628181,
          "upper": 0.7768525693000599
        }
      },
      {
        "model": "claude-opus-5",
        "harness": "mini-swe-agent",
        "effort": "max",
        "passed": 327,
        "scored_attempts": 444,
        "success_fraction": 0.7364864864864865,
        "wilson95": {
          "lower": 0.6936066729060372,
          "upper": 0.7753092701444239
        }
      },
      {
        "model": "gpt-5-6-sol",
        "harness": "mini-swe-agent",
        "effort": "max",
        "passed": 327,
        "scored_attempts": 450,
        "success_fraction": 0.7266666666666667,
        "wilson95": {
          "lower": 0.6837007642145901,
          "upper": 0.7657954112341966
        }
      },
      {
        "model": "claude-fable-5",
        "harness": "mini-swe-agent",
        "effort": "xhigh",
        "passed": 316,
        "scored_attempts": 452,
        "success_fraction": 0.6991150442477876,
        "wilson95": {
          "lower": 0.6553003802295354,
          "upper": 0.7395737509336926
        }
      }
    ]
  },
  "cost_score": {
    "reason_astra": {
      "assigned_attempts": 226,
      "confirmed_passes": 165,
      "ungraded_attempts": 0,
      "cost_records": 226,
      "missing_cost_records": 0,
      "recorded_model_spend_usd": 1203.289086,
      "recovery_model_spend_usd": 5.103275500000002,
      "mean_recorded_cost_per_assigned_attempt_usd": 5.324287991150443
    },
    "definition": "Recorded model spend divided by all assigned slots, including the fresh Kea recovery and spend on failures. The original setup failure made no model calls; the Pwntools regrade made no model calls. Excludes compute and unreported usage; not an all-in invoiced cost."
  }
}