MissClick、座標トークンの桁位置を悪用してGUIエージェントを攻撃—標的型の誤クリック成功率は最大62.67%

GUIエージェントでは通常、視覚言語モデルに`(x, y)`座標を出力させ、実行器がそれを実際のマウス操作やタッチイベントに変換する。MissClickは、この一見単純なシリアライズ用インターフェースが特殊な攻撃対象領域を形成すると指摘する。モデルは10進数をトークン単位で順次予測する一方、パーサーは各桁の位取りに基づいて座標を復元する。そのため、百の位のトークンを1つ変えるだけで、実際のクリック位置が正規化座標で100単位ずれる可能性があり、その影響は通常のテキストにおけるトークン変更の意味的な影響をはるかに上回る。

研究では、2種類のホワイトボックス画像摂動を設計した。MissClick-Uは、微分可能な「ソフト座標」を用いて予測点と正解領域との距離を最大化し、エージェントに対象要素の外側をクリックさせる。MissClick-Tは、目標とする数字のlossを10進数の位取りに応じて重み付けし、攻撃者が指定した領域へクリックを誘導する。後者は、攻撃によって単にタスクを失敗させるだけでなく、「確認」を「削除」に変えたり、通常のリンクを認可や決済のコンポーネントへすり替えたりできる可能性を意味する。

著者らは、デスクトップ、Web、モバイルの各インターフェースでOS-AtlasとUGroundをテストした。MissClick-Uの非標的型攻撃成功率はそれぞれ75.07%と72.93%で、既存の攻撃と比べて16.62ポイントおよび30.72ポイント向上した。MissClick-Tの標的型攻撃成功率は44.86%と62.67%で、それぞれ31.73ポイントおよび47.06ポイント向上した。OS-Atlasの公開実装では座標を0〜1000に正規化しており、位取りによる誤差が元の画面上の位置へどのように変換されるかを端的に示している。

この結果は、ブラウザおよびデスクトップエージェントの保護に直接的な示唆を与える。出力がJSON Schemaや座標範囲の検証を通過しても、その操作が安全であるとは限らない。実行レイヤーでは、画面要素の境界に照らして座標を再検証し、機密性の高いコンポーネントには意味的な確認を追加するとともに、摂動を受けた単一の画面だけから不可逆な操作が直接実行されないよう制限すべきだ。ただし、MissClickはモデルの勾配にホワイトボックスでアクセスできることを前提としており、リモートAPI、スクリーンショット圧縮、未知のモデルへの転移を通じて同等の成功率を達成できるかは、まだ実証されていない。また、論文では攻撃コードも公開されていないため、報告された数値は今後、第三者による検証が必要となる。