代理評測
SWE-bench Science、科学ソフトウェア修復課題119問を公開—最良エージェントの完全合格率も5割未満
新ベンチマークは、コードがコンパイルできるかだけでなく、非公開の科学テストを用いて単位、数値的不変条件、ファイルのセマンティクス、モジュール間のデータフローを検証する。Claude CodeとOpus 5の組み合わせによる全体のpass@1は47.90%。実験では、ドメイン知識の追加によってエージェントが誤った方向に固執する場合もあることが示された。
SWE-bench Scienceは、コーディングエージェントの評価を科学ソフトウェアへと拡張する。119件のタスクは98のGitHubプロジェクトから収集され、20分野を網羅しており、既存issueの修復、専門家による探索、モジュール横断のエンジニアリング統合という3種類に分類される。課題には、単位変換、座標系、数値的不変条件、スペクトル、シミュレーションのセマンティクスなどに関する契約が含まれる。局所的な変更によって公開テストに合格しても、非公開の科学的ケースで等価表現、境界条件、データフローのいずれかを損なえば、pass@1では失敗として扱われる。
公開されたアーキテクチャでは、各課題の環境とバリデーターが、digestで固定された個別のDockerイメージとして構築される。エージェントが参照できるのはベースラインコード、問題の説明、公開された診断情報のみで、リファレンスパッチと非公開テストがワークスペースに配置されることはない。ランナーはテスト時にCodex、Claude Code、またはPierがサポートするその他のharnessを選択でき、モデル設定、イメージのバージョン、課題選択のハッシュ、テスト出力を記録する。公開データではデフォルトで96問が提供される。残る23問はアップストリームのライセンス条件により、明示的に有効化しなければ具体化できない。
8組のモデルとharnessの組み合わせでは、Claude Code／Opus 5が全体で最高のpass@1となる47.90%を記録した。Codex／GPT-5.6 Solは非公開テストの平均スコアが78.82%で最高だったものの、完全合格率は46.22%だった。失敗の主因は、科学的抽象化の誤り、表面的な症状のみの修復、モジュール横断のカバレッジ不足、原理を未知のケースへ一般化できないことだった。91問を対象とする対応あり実験では、科学的な説明を与えることでDeepSeek-V4-Flashのpass@1が向上した一方、GPT-5.6 Solでは36.26%から31.87%へ低下した。これは、RAGによって論文や専門家の文章を追加しても、修復性能の向上が保証されるわけではないことを示している。情報を実行可能な証拠と整合させられるかどうかは、知識の量よりも重要である可能性がある。