Microsoft、GUIとターミナル操作を自律的に切り替える小型デスクトップエージェント「Mage-VL-Cowork」を公開

Microsoftは10月30日、デスクトップ操作モデル「Mage-VL-Cowork」を公開した。スクリーンショットの理解、グラフィカルユーザーインターフェース（GUI）の操作、ターミナルでの実行を、単一の戦略に統合している。モデルは言語バックボーンにQwen3-4B、視覚エンコーダーにMage-ViTを採用し、重みはApache 2.0ライセンスで公開されている。モデル公開の追跡記事にも公開日が記載されており、アーキテクチャとライセンスは公式モデルカードで確認できる。

主な特徴は、各ステップで操作方法を選べることだ。モデルはcomputer_useを呼び出して画面のレイアウトを扱い、マウスやキーボードを操作できる。また、bashを使ってスプレッドシート、文書、プレゼンテーションを直接編集し、その後ファイルの結果を確認することもできる。構造化データを扱う際に、セルを一つずつクリックする手間を減らせる可能性があり、どちらの方法を使うかはモデル自身が判断する。公式モデルカードには、この2つの経路で使うツールの仕様が説明されている。

訓練は5段階で行う。まず視覚的な位置特定とツール呼び出しの能力を身につけ、次にGUI、コード、ターミナルの操作をそれぞれ学習する。最後に、混合教師ありファインチューニングとオンライン強化学習で統合する。チームはデモを収集する前に、教師モデルのツール、プロンプト、実行環境も調整した。Mage-CUA-Forgeでは約29万4,000件のタスクを合成している。この手法で注目されるのは、教師の操作フレームワークもデータ品質管理に含めている点だ。公式プロジェクトページで訓練の流れが公開されている。

公式発表によると、Google Driveを除くOSWorld-Verifiedの361タスクを対象に、各タスクを最大50ステップまで実行した設定で、2回のテストの平均成功率は66.0%だった。混合教師ありファインチューニング版と比べ、オンライン強化学習版では成功率が10.16ポイント上がり、モデル呼び出し回数は13.0%、出力トークン数は25.4%減少した。これらはチームによる測定値であり、異なるデスクトップ環境や一般的な作業負荷でも同じ結果になるとは限らない。評価の説明には比較条件が記載されている。

導入には、なお統合作業が必要だ。公式実装は独自のllava_onevision2アーキテクチャを使い、リモートコードの読み込みを必要とする。また、依存関係のバージョンを固定したSGLangのGPUコンテナと、結果を再現するためのスクリプトも提供している。今後は、第三者が結果を再現できるか、アプリケーションのバージョンやターミナルのパッケージ、ツールの権限を変更した場合にどの程度安定して動くかが注目点となる。公式は隔離コンテナまたは仮想マシン内での実行も求めている。デプロイ手順に具体的な設定が記載されている。