254件の提出結果を精査、SWE-bench Verifiedの上位順位は統計的に区別困難に

9月15日に公開され、ADMA 2026への採択が決まっている論文が、モデルを再実行するのではなく、SWE-benchの4つの公開分割における計254件の提出について、問題ごとの判定結果を再分析した。結論は、coding agentの「能力が同じ」になったというものではない。現行リーダーボードは上位システムを識別する解像度が不足しており、一般的な厳密順位の解釈を確実には裏付けられない、というものだ。[論文](https://arxiv.org/abs/2609.17394)

人手で解決可能と確認された500問を収録する[SWE-bench Verified](https://www.swebench.com/)では、首位の2件はいずれも396問を解決した。上位10件は285問を共通して解決し、51問に共通して失敗しており、実際に各システムを区別できる問題は164問しか残らなかった。解決問題集合のネスティング係数の中央値は0.935で、総合スコアから推定される0.774を上回った。これは、より強いシステムの多くが、より弱いシステムでもすでに解ける問題を包含しているにすぎず、大幅に補完的な能力を示しているわけではないことを意味する。

著者らは対応のあるMcNemar検定を用い、Verified上位30件のうち順位が隣接する29組の提出を比較したが、α=0.05では区別できる組み合わせは一つもなかった。一方、2,294問を含む、より大規模なTest分割では、23組中14組を区別できた。上位システムがすべて正解またはすべて不正解だった問題を単純に除外しても、この問題は解消しなかった。上位30件を209問の非退化問題で再集計すると、観測されるスコア差は8.8ポイントから18.7ポイントへ拡大したものの、隣接する組み合わせで有意差に達したものは依然としてなかった。

もう一つの警告材料は、リーダーボードのスコアがモデル単体ではなく、「モデル＋scaffold」に属するという点だ。同一モデルを異なるエージェントフレームワークと組み合わせた場合、観測されたスコア幅は最大29.8ポイントに達し、上位30件全体のスコア幅を大きく上回った。ただし、これは公開メタデータから再構築した観察研究であり、scaffoldが差異の因果的要因であることを証明するものではない。

研究は、構造化された形式でモデル、scaffold、バージョン、試行回数、harnessの変更情報をリーダーボード上に公開し、過度に精密な順位付けを記述的な階層分けに置き換えるよう提言している。エンジニアリングチームは次の段階として、実際にデプロイする予定のモデル–エージェント構成をテストし、コストと安定性に加え、候補システム間で結果が実際に異なる問題を追跡すべきだ。0.2ポイントや0.4ポイントの差だけで調達を決めるべきではない。