SWE-bench Scienceは20の科学分野を収録、最優秀のコーディングエージェントでも119問中47.90%しか解決できず

OpenMOSSチームは、コーディングエージェントの評価対象を科学ソフトウェアへ拡張する[SWE-bench Science](https://arxiv.org/abs/2608.19799)を公開した。この種のソフトウェアの正しさは、単にテストを通過できるかどうかだけでなく、物理単位、座標系、数値的不変条件、データ形式のセマンティクス、シミュレーション上の仮定にも左右される。表面的には妥当に見える修正が正常にコンパイルできても、研究結果をひそかに変えてしまう可能性がある。

このベンチマークは119件のタスク、98のGitHubリポジトリ、20の科学分野を含み、既存のissueを起点とする問題、専門家による探索問題、モジュール横断のエンジニアリング統合問題という3種類に分類される。[公開ツールリポジトリ](https://github.com/OpenMOSS/SWE-bench-Science)では、各問題についてdigestで固定された環境イメージと、独立したverifierイメージを提供している。エージェントは前者でコードを修正し、評価器がそのpatchをクリーンなベースラインに適用して、再ビルドしたうえで非公開テストを実行する。harnessはPierによって実行時にインストールされ、Codex、Claude Code、mini-swe-agentを切り替えられるため、特定のエージェントがイメージに組み込まれることを避けられる。

8月16日時点の[リーダーボード](https://swescience.github.io/)では、Claude CodeとClaude Opus 5（max）の組み合わせがpass@1 47.90%で首位に立ち、CodexとGPT-5.6-solの組み合わせが46.22%で続いている。前者は専門家による探索問題で65.31%を記録した一方、issue問題は38.46%、エンジニアリング統合問題は27.78%にとどまった。後者のエンジニアリング統合問題の成績は38.89%だった。論文では、失敗の要因として、ドメイン固有の抽象化の欠如、誤った探索方針、表面的な症状だけの修正、依存するすべてのモジュールを網羅できていないことを挙げている。問題文から科学的なヒントを削除した実験からは、ドメイン知識は多ければ多いほどよいわけではないことも示された。適切に整合した情報は探索空間を狭められるが、的外れなヒントはアンカリングを引き起こす。

再現のハードルは依然として高い。23問は上流のライセンス制限により明示的なopt-inが必要で、デフォルトでは96問のみが実行される。イメージはlinux/amd64に固定されており、Apple Siliconではエミュレーションが必要となる。非公開のverifierテストと正解patchは公開されていないため、データ汚染を抑えられる一方、外部による検証も制限される。今後エンジニアリングチームは、異なるharness、token予算、ドメイン検索手法による性能向上を、同一の固定イメージ上で独立して再現できるかに注目すべきだ。