ComponentBench、2,910件のWeb操作を要素単位で分析　同一エージェントでもインターフェース方式により34ポイント超の差

新たに公開されたComponentBenchは、コンピューター操作エージェントの評価単位を単一のUIコンポーネントまで細分化し、「座標をクリックする」といった原子的なテストと、数十ステップに及ぶ完全なワークフローとの間にある空白を埋める。完全版には2,910件のタスク、97種類の標準コンポーネント、14のインタラクションファミリーが収録され、ボタングループ、日時入力、リッチテキストエディター、データテーブル、スライダー、領域間のドラッグ＆ドロップなどを網羅する。コンポーネントは静的なスクリーンショットではなく、Ant Design、MUI、Mantineなど、実際のReactライブラリから採用されている。

各設問には、プログラムで定義された成功条件と、クリーニング済みの人間による操作トレースが用意されている。評価器はDOMが指定された状態に達した場合にのみ合格と判定し、エージェントが自己申告する「完了」は信用せず、別のLLMによる判定にも依存しない。研究チームはタスクのYAML、JSON Schema、実行フレームワーク、ステップごとのログ、スクリーンショット、失敗事例も公開している。これにより開発者は、問題が視覚認識、ターゲット特定、操作選択、状態確認、早すぎる終了のどこで発生したのかを追跡できる。

7モデルを4種類の観察／操作インターフェースで評価した結果、エージェントのラッパーとインターフェースの表現方式だけでモデルの順位が変わり得ることが示された。GPT-5 miniの成功率はaccessibility treeモードで83.1％だったが、ピクセル情報と座標操作のみに切り替えると48.9％まで低下した。Qwen3-VL-235BもAX-treeの77.0％からPixelの50.5％へ低下した。総合首位はBrowser-Useと組み合わせたGemini 3 Flashで、合格率は95.2％だったが、最速の構成でさえ所要時間は人間の基準時間の3.7倍だった。ドラッグ＆ドロップ、高精度の連続入力、高度なエディターが最も難しいコンポーネントファミリーだった。

これは、コンピューター操作モデルを調達またはファインチューニングする際、単一の総合スコアだけでは製品上の性能を十分に予測できないことを意味する。DOM、accessibility tree、注釈付きスクリーンショット、純粋な視覚モードは、実質的に異なるシステム設計である。制約として、タスクは依然として短時間のReact Webインタラクションが中心であり、ログイン、ネットワーク遅延、ページをまたぐ状態、長いワークフローでのエラー蓄積は網羅できない。今後は、規模を絞りつつ難度を高めた912問のCore版がバージョン間の安定性を維持できるか、また公開されたトレースがドラッグ＆ドロップや状態検証に特化した学習改善につながるかが注目される。