EarthVerse、405件の災害調査で評価：エージェントの平均正答率は8割超、ほぼ完全なタスク達成率は依然34.81%

EarthVerseは、科学エージェントの評価を一問一答から再実行可能な調査ワークフローへと発展させた。このベンチマークには、記録済みの199件の事象と19種類の自然災害に基づく405件のタスクが含まれる。各事象のパッケージには、報告書、時系列データ、リモートセンシング製品、派生データなどが収録され得る。エージェントは、互換性のある証拠を自ら見つけ、ツールを選択し、単位と時間窓を処理し、相反する情報源を比較したうえで、回答内に計算過程と出典の関係を保持しなければならない。データパッケージ全体には、6,709個のファイルと6,397件の出典レコードが含まれる。

評価では、エージェントに唯一のツール実行順序を再現させるのではなく、回答を細粒度のユニットに分解し、証拠の選択、計算、情報源間の整合、物理的な解釈を個別に検査する。評価対象となった25システムのうち、Claude Codeと組み合わせたClaude Fable 5が、回答ユニット正確率84.65%で首位となった。一方、Codexと組み合わせたGPT-5.6 SolはStrict@95で最高だったものの、その値はわずか34.81%だった。この差は、エージェントが多くの局所的な手順を正しく実行できても、時間窓、単位変換、代替メカニズム、出典などを見落とし、結論に至る連鎖全体を無効にしてしまうことを示している。実行回数を増やしても、必ずしも結果は向上しない。論文に登場するOpenResearcherは、1問当たり平均約53万9,000 tokenを使用したにもかかわらず、古い数値を最終回答まで残す場合があった。

これらの数値を、モデル単体のランキングとして解釈することはできない。一部のモデルは共通のEarthVerseコントローラーを使用する一方、Codex、Claude Code、研究用フレームワークは独自の実行ループを維持しているため、実際のスコアが比較しているのはモデルとハーネスの組み合わせである。また、元の画像が直接使用されたのは少数の問題に限られる。評価は固定されたGPT-4.1 judgeにも依存しており、オフラインの事象パッケージは再現性を高める一方、リアルタイムのウェブ探索を犠牲にしている。科学エージェントの開発者にとって、より直接的な工学上の示唆は「主張—証拠」グラフを維持し、各数値に出典、単位、時間窓、変換履歴を付随させることだ。さらに、最終レビューは報告書の文章を磨くだけではなく、各項目を一つずつ確認するカバレッジチェックとして実装すべきである。