AI 評測／程式代理
Real‑SWE、非公開の企業コードベースでcoding agentを評価——最高解答率でも38.8%
新たなベンチマークは、税務、課金、ID移行などの実務的な要件を隔離されたサンドボックスに持ち込み、8組のモデルとエージェントフレームワークを評価した。最高のpass@1は38.8%だった。企業開発の実態に近い結果である一方、コードベース、validator、完全なtrajectoryは公開されておらず、現時点では第三者がランキングを独立に再現できない。
Specific Labsは、SWE‑bench系の評価と企業開発との隔たりを埋めることを目指したReal‑SWEを公開した。現在のベンチマークには、ライセンスを取得した非公開の本番コードベースから採取、またはそれを基に改変した10件のタスクが含まれる。内容は税率計算、API tokenの計量、リージョン横断データスキャン、請求スケジューリング、顧客ID移行などに及ぶ。各タスクではコードの修正だけでなく、PostgreSQL、MongoDB、Kubernetes、Linear MCP、または模擬クラウドサービスの操作が必要になる場合もある。参照解答で変更されたファイル数の中央値は11で、チームが集計したFrontierCodeとDeepSWEの中央値である6を上回った。
チームは8種類の「モデル＋ネイティブharness」の組み合わせをそれぞれ8回実行し、合計640回のrolloutを生成した。解答率が最も高かったのはClaude Fable 5.1とClaude Codeの組み合わせで、38.8%だった。GPT‑6 AstraとCodex CLIは33.8%、Gemini 3.8 FlashとGemini CLIは31.2%だった。10問中6問では全体の解答率が15%未満で、最難関のストリーミングreducerはどのモデルも通過できなかった。失敗の原因は構文ミスだけではない。分類結果によると、要件の見落とし、システムに関する前提の未検証、正しい概念を既存の誤ったコンポーネントに接続することが、いずれも主要なfailure modeだった。短い実行時間も信頼できる代替指標ではない。10分未満のrolloutでも71.4%が失敗していた。
この取り組みが重要なのは、能力のすべてをモデル単体に帰属させるのではなく、モデルとツールフレームワークの組み合わせを明確に評価している点にある。エンジニアリングチームにとっては、自社のGit履歴からタスクを抽出し、固定commit、サンドボックス、hidden testを用いて社内回帰テストセットを構築する方が、より実践的かもしれない。
ただし、現段階のReal‑SWEは依然としてクローズドなベンチマークだ。非公開コードの全体、テスト、trajectoryは公開できず、第三者はデータ汚染、promptの公平性、graderを検証できない。Hacker Newsでの議論では、非公開コードベースをクラウドモデルのプロバイダーに渡すことによるデータガバナンス上の問題も指摘された。これらの数値は企業ワークロードに対する初期的なストレステストとして捉えるのが妥当であり、モデルの汎用ランキングとして直接扱うべきではない。