5つのコンピューター操作エージェント・ベンチマークを再検証：失敗判定の15.3%は誤りだった

コンピューター操作エージェントの成功率は一般に能力指標とみなされているが、新たな研究は、この数値にエージェントのエラー、環境障害、graderの制約が混在していると指摘する。研究チームは、OSWorld-Verified、WebArena、VisualWebArena、WorkArena、AssistantBenchから、公開済みで当初のスコアがゼロだったトラジェクトリ150件を抽出し、推論テキスト、操作、画面、最終状態を再検証した。その結果、16件は実際にはタスクを完了していたものの、回答形式、URL、DOM、または状態チェッカーが代替解を受け付けなかったため、失敗と判定されていた。さらに7件は、参照回答の陳腐化、検索サービスの障害、CAPTCHA、または仮想マシンに必要なハードウェア状態が存在しないことにより、達成不可能だった。合計すると、FAIL判定の15.3%が誤りであり、95% Wilson信頼区間は10.4%〜22.0%だった。

問題の性質はベンチマークごとに異なる。WebArenaのサンプルにおける誤判定率は21.7%で、主因は有効な回答がマッチングを通過しなかったことだった。AssistantBenchも21.7%だったが、エラーの主因はWebサイトのドリフトだった。OSWorldの57件のトラジェクトリでは、有効な代替解8件が状態チェッカーに認識されず、さらに2件が不備のあるタスクだった。一方、WorkArenaの24件のサンプルでは誤判定は見つからなかった。この研究は、すでに失敗と判定されたトラジェクトリのみを調査しているため、成功例に含まれる偽陽性を推定することはできず、各モデルのランキング全体を直接補正することもできない。

研究チームはさらに、真の失敗122件を、最初に発生した決定的な原因に基づいて分類した。検証とフィードバックの問題が39.3%を占め、そのうち、操作しても画面が変化していないことに気づかず同じ動作を繰り返すケースだけで29.5%を占めた。プランニングの問題は35.2%、実行、パラメーター、視覚的位置指定は合計13.9%にとどまった。これは、エンジニアリングチームがgroundingの改善だけに注力しても、主要なボトルネックに対処できない可能性を示している。今後は、再生可能なスクリーンショット、ツールレスポンス、状態遷移を保存し、タスク、環境、graderをそれぞれバージョン管理するとともに、単一の成功率を公表する前に、不備のあるタスク、graderの不確実性、コスト、失敗タイプを報告すべきである。