AppDeltaWorld、実行可能なHTMLでモバイルUIを予測し、MobileGymの成功率を10.2%から14.1%に向上

AppDeltaWorldは、モバイルGUIエージェントに、安全に繰り返し操作できる訓練環境が不足している問題の解決を試みる。ピクセルやテキスト記述を直接予測する手法とは異なり、次のインターフェースをブラウザで実行可能なHTML更新として表現する。システムはまず現在の画面をアプリ内のインターフェースクラスタに対応付け、タップ、長押し、スワイプの対象に基づいてアクション遷移インデックスを照会する。そのうえで、履歴上到達可能な候補画面からのみLevel-1 HTMLスケルトンを検索し、続いてモデルが実際のテキスト、コンポーネント、位置を含むLevel-2 HTMLを生成する。

コードで表現しにくい商品画像や動画サムネイルについては、システムがimage slotを確保し、拡散モデルで素材を生成した後、ブラウザでレンダリングする。このテキスト、コード、画像を組み合わせた設計は、自由生成によるレイアウトのずれ、密集したテキストの誤り、到達不可能な状態への遷移を同時に減らすことを目的としている。遷移インデックスから現在の状態とアクションに一致するターゲットクラスタが見つからない場合、システムは予測を拒否するか、その信頼度を引き下げられる。

著者らは100,149件のGUI遷移ステップを用いて世界モデルを訓練し、GUI-OwlとOpenMobileのシードから33,133本のAppDelta軌跡を構築した。CMGUIBench-500の総合スコアは73.51で、GPT-Image-2の72.34をわずかに上回った。AppDeltaWorldはコンポーネントとレイアウトのスコアで優れていたものの、機能ロジックのスコアでは全面的に上回っていない。合成軌跡を教師ありファインチューニングに追加すると、AppDeltaAgentのMobileGymにおける成功率はQwen3-VL-8Bベースラインの10.2%から14.1%へ向上し、MobileWorldにおけるGUIのみの成功率も9.4%から14.9%へ上昇した。

技術的価値は画面生成だけにあるのではない。同じ世界モデル内でモデルが連続的に行動し、失敗した遷移を除外したうえで、残った軌跡をSFTやテスト時強化学習に利用できる点にある。ただし、総合スコア73.51はGeminiによる判定、SigLIP、DINOv2、レイアウト指標を組み合わせたものであり、実際のアプリケーションにおける因果的一貫性と必ずしも同等ではない。また、平均出力は8,309 tokenに達し、多くのコードのみのベースラインを上回る。エンジニアリングチームは今後、完全なコード、インデックス構築ツール、モデルの重みが公開されるかどうかに加え、インターフェース更新、ログイン状態、サーバー側の副作用が存在する状況でも遷移の正確性を維持できるかに注目すべきだ。