Qwen-UI-Agent、モバイル・デスクトップ・ブラウザ操作を統合し、長軌跡学習を100ステップ超に拡大

Qwen-UI-Agentの要点は、単に新たなマウスクリックモデルを追加することではなく、従来は分散していたモバイル操作、デスクトップソフトウェア、ブラウザタスク、DeepSearchを単一の基盤エージェントへ統合しようとしている点にある。モデルは同一の軌跡内でGUIアクションとCLIコマンドを交互に出力できるほか、複数のアクションを一括生成し、クリックのたびにモデルを再呼び出すことで生じる遅延を削減できる。さらに、軽量なharnessによってデバイス間の状態を保持し、指示に受動的に応答するだけでなく、エージェント自身が能動的にサービスを起動できる。

訓練には、AutoResearchに似たデータフライホイールを採用している。エージェントが自らタスクとサンドボックスを構築し、失敗を診断したうえで、次のデータ生成ラウンドを計画する。オンライン強化学習では100ターンを超える軌跡を処理でき、公式発表によると、rolloutインフラストラクチャは1万を超える環境を同時に実行できる。この設計は、GUIエージェントのスケーリングにおけるボトルネックが、単一ステップの視覚的位置特定から、リセット可能な環境、長期的な信用割当、失敗データの回収へと移りつつあることを示している。

報告されたスコアには、MobileWorldの82.1%、MobileWorld-Realの92.2%、AndroidDailyの97.5%、WebArenaの73.6%、OSWorld-Verifiedの79.5%が含まれる。一方、より新しいOSWorld-v2については、途中経過のスコアとして40.0%のみが報告されている。エンジニアリングチームがこれらの数値を解釈する際には、評価条件に特に注意する必要がある。OSWorldの実行結果は、仮想マシンイメージ、アカウントおよびOAuthの設定、Webサイトのボット対策、エージェントの最大ステップ数に左右される。また、公式リーダーボードで検証を受けるには、実装または監視用の軌跡を提出する必要がある。

現時点で最大の制約は、再現可能なアセットに先行して技術報告が公開されたことだ。論文と同時にモデルの重み、完全な訓練データセット、デプロイ用プログラム、タスクごとの軌跡が提供されていないため、クローズドな最先端モデルとの比較は、依然としてチームによる自己評価にとどまる。今後は、モデルが公開されるかどうか、画面の状態が変化した際にバッチアクションをどのように中止するのか、GUI／CLIをまたぐ権限にきめ細かな分離と人間による確認の仕組みが備わっているかを注視すべきだ。