Qwen-UI-Agent、スマートフォン・デスクトップ・ブラウザ操作を統合、オンラインRLの軌跡は100ターン超

Qwenチームは、現在それぞれ分離しているスマートフォン制御、デスクトップ操作、ブラウザタスク、深度検索を単一の基盤GUIエージェントに統合することを目指し、Qwen-UI-Agentを発表した。このシステムはマウスクリックやタッチ座標だけに依存せず、統一されたアクション空間でGUI操作とCLIコマンドを交互に生成し、1回のモデル推論で複数のアクションをまとめて出力できる。この設計により、ステップごとにモデルを呼び出す際の遅延を抑えられるほか、適切な場合にはエージェントがコマンドラインから直接ファイルやシステム状態を処理できる。

訓練では、サンドボックスと大規模な実機スマートフォン実行環境を組み合わせた。チームはAutoResearchに似たデータループを用い、エージェントにタスクの生成、環境の構築、失敗の分析、次のデータ収集ラウンドの計画を行わせた。オンライン強化学習では100ターンを超える軌跡を扱い、10,000以上の並列環境によってrolloutを高速化した。さらに、デバイスをまたいだ状態を保持する軽量なharnessを導入し、エージェントが単発の指示に応答するだけでなく、能動的にサービスを起動できるようにした。

レポートに記載されたスコアは、MobileWorldが82.1%、MobileWorld-Realが92.2%、AndroidDailyが97.5%、OSWorld-Verifiedが79.5%、WebArenaが73.6%、ScreenSpot-Proが81.5%だった。一方、OSWorld-v2では部分進捗スコアを採用した場合に40.0%となっており、ベンチマークや評価規則が異なる結果を単純に横並びで比較できない点には注意が必要だ。この研究がエンジニアリングチームに示す重要な可能性は、GUIとCLIで別々のエージェントを用意する必要がなくなり、戦略、メモリ、長期訓練パイプラインを共有できるようになることだ。

現時点で最大の制約は、技術レポートに再現可能なモデルの重み、訓練データセット、推論コード、コストデータが付属しておらず、性能値も主に開発チームによる自己申告であることだ。今後は、実際のデプロイ用インターフェース、権限分離、障害からの復旧メカニズムが公開されるか、また第三者がオリジナル版のOSWorldや実機上で長期タスクの性能を再現できるかを見極める必要がある。