直接的な座標生成をレイアウトマッチングに置き換え、GUI グラウンディングが ScreenSpot-Pro で 41.3%を達成

新たに提案された Layout-Aware GUI Grounding Model は、大規模マルチモーダルモデルにクリック座標を直接出力させない。第1段階では、凍結した Qwen2.5-VL-72B がスクリーンショットと指示を同時に読み取り、「ファイルエクスプローラーを閉じる」といった指示を、テキスト、外観、相対位置を含む視覚的な記述へ展開する。第2段階では、GUI データに適応させた DINO 検出器が Text と Icon の候補ボックスを生成し、凍結した CLIP ViT-B/32 が記述と切り出された領域とのコサイン類似度を計算して、最高スコアの候補ボックスを直接選択する。この分離構成により、言語モデルは抽象的な意図を処理し、専用モデルはピクセルレベルの認識を担うため、もっともらしく見えても実在しない座標を回答として生成することを避けられる。[論文](https://arxiv.org/abs/2608.09654)ではさらに、候補ボックスの中心、幅と高さ、アスペクト比、面積を空間オフセットへ射影して CLIP 特徴量に注入し、「左上の戻るボタン」のような位置依存の指示を識別している。

学習データは約20万枚の GUI スクリーンショットから構成される。まず解析ツールでテキスト領域とアイコン領域を抽出し、その後 Qwen3-VL で領域記述を生成した。DINO は8基の RTX 3090 を用いて50エポック学習された。第2段階では CLIP を凍結し、単層の幾何射影のみを学習する。著者らの報告によると、ScreenSpot の平均クリック精度は87.1%で、UGround の73.3%を上回った。23種類のプロフェッショナル向けアプリケーションと1,581件の指示・アノテーションを収録する ScreenSpot-Pro では41.3%を達成し、掲載された最良ベースラインである OS-Atlas-7B は18.9%だった。[公式ベンチマークリポジトリ](https://github.com/likaixin2000/screenspot-pro-gui-grounding)では、データと評価プロトコルを確認できる。

「hallucination-free」という表現については、なお慎重に解釈すべきだ。このシステムが回避するのは、最終段階における座標の自由生成にすぎない。前段の DINO 候補生成器は、引き続き L1、GIoU、分類損失を用いてバウンディングボックスの位置を学習する。対象が候補集合に含まれなければ、CLIP では救済できない。また、評価で主に測定されるのは予測点がアノテーション済みボックス内に入ったかどうかであり、マルチステップのエージェントがタスクを確実に完遂できることを意味しない。論文ではコード、モデル、新たに構築した学習データのいずれも公開されておらず、表に記載された一部のベースライン値についても独立した再実行による検証が必要だ。エンジニアリングチームが次に注目すべき点は、候補の再現率、追加の推論レイテンシ、そしてより小規模な意図解析モデルでも同等の改善を維持できるかどうかである。