微軟發布 Mage-VL-Cowork，讓小型桌面代理自行切換 GUI 與終端操作

微軟於 10 月 30 日公開桌面操作模型 Mage-VL-Cowork，將截圖理解、圖形介面操作與終端執行整合進同一套策略。模型以 Qwen3-4B 為語言骨幹，搭配 Mage-ViT 視覺編碼器，權重採 Apache 2.0 授權；發布日期亦見於模型發布追蹤，架構與授權則由官方模型卡確認。

核心變化在於每一步的操作選擇。模型可呼叫 computer_use 處理畫面布局與滑鼠鍵盤，也能使用 bash 直接修改試算表、文件及簡報，再檢查檔案結果。這讓結構化資料處理有機會減少逐格點擊，路徑選擇由模型本身完成。官方模型卡說明了這套雙通道工具契約。

訓練採五個階段：先建立視覺定位與工具呼叫能力，再分別學習 GUI、程式碼與終端操作，最後透過混合監督微調及線上強化學習整合。團隊也先調整教師模型的工具、提示與執行環境，再收集示範；Mage-CUA-Forge 共合成約 29.4 萬項任務。這套方法值得研究之處，是把教師的操作框架也納入資料品質控制。官方專案頁公開了訓練流程。

官方回報，在排除 Google Drive 的 361 項 OSWorld-Verified 任務、每項最多 50 步的設定下，兩次測試平均成功率為 66.0%。相較混合監督微調版本，線上強化學習增加 10.16 個百分點，同時減少 13.0% 模型呼叫與 25.4% 輸出 token。這些是團隊測量，不能直接推論到不同桌面環境或一般工作負載。評測說明列出了比較條件。

工程上仍有整合成本。官方使用自訂 llava_onevision2 架構，要求載入遠端程式碼，並提供固定相依版本的 SGLang GPU 容器與重現腳本。下一步應觀察第三方能否重現成績，以及更換應用程式版本、終端套件或工具權限後的穩定性；官方也要求在隔離容器或虛擬機中執行。部署文件提供具體設定。