代理工具
直接的な座標生成をレイアウトマッチングに置き換え、GUI グラウンディングが ScreenSpot-Pro で 41.3%を達成
北京大学の研究者は、マルチモーダルモデルを操作意図の解釈だけに用い、その後 Text/Icon 候補検出器と凍結した CLIP でクリック領域を選択する手法を提案した。ScreenSpot-Pro の精度は、掲載された最良ベースラインの 18.9%から 41.3%へ向上した。ただし、論文がいう「回帰なし」は最終マッチング段階に限られ、候補ボックス検出器自体は引き続きバウンディングボックス回帰損失を使用している。また、実装はまだ公開されていない。