OmniaBench、1,431件のシナリオ横断タスクで汎用エージェントを検証、最先端モデルのPass@1は依然6割未満

OmniaBenchは、汎用エージェントの評価を、単一のWebサイト、ツールセット、または対話形式から、異種のシナリオへと拡張する。完全なデータセットには1,431件のタスクが含まれ、さらに、評価を繰り返す際のコストを抑え、全問題セットの公開後に訓練データが汚染されるリスクを軽減するため、644件の高難度サブセットも提供される。各環境には明確な状態空間が用意されているため、評価を別の言語モデルによる主観的な判断だけに依存させず、エージェントの行動が実際にシステムを目標状態へ進めたかどうかを検証できる。

論文によると、Claude Sonnet 5とGPT-5.6 Solの総合Pass@1は、それぞれ58.54%と57.14%にとどまった。著者らはさらに、失敗をドメインと能力の観点から分類し、現在のモデルはツールを正しく呼び出せる場合でも、複数ステップの計画、長時間にわたる制約条件の維持、失敗を観察した後の戦略調整で、なお頻繁に誤ると指摘している。本番運用を担うチームにとって、このような診断は単一の総合スコアより有用だ。プロンプト、状態表現、バリデーター、フォールバック戦略のどれを改善すべきか、あるいは基盤モデルを変更すべきかを判断する助けになる。

ただし、Pass@1は依然として、エージェントフレームワーク、ツール記述、推論予算、サンプリング設定、失敗時の再試行ポリシーの影響を受ける。また、ベンダーごとに異なるネイティブのツールインターフェースによって、比較が歪む可能性もある。高難度サブセットは汚染を遅らせることはできても、将来のモデルバージョンが問題を記憶する可能性を排除できない。導入側は、モデルのバージョンと実行環境を固定し、完全な実行トレースとコストを保存するとともに、公開問題セットとは別に社内タスクを確保すべきだ。次に注目すべきなのは、著者らが長期的なバージョン管理、再現可能なサンドボックス、エージェントフレームワーク間で共通の標準設定を提供するかどうかである。