MobilePA-Bench、1,705件のステートフルなモバイルタスクを実行――最高性能のプランナーでも75.52%

MobilePA-Benchは、モバイルエージェントの評価を「JSONが正解と一致するか」から、実行可能な状態遷移へと進化させた。シミュレーション環境は1,705件のタスク、212個のツール、13の機能領域をカバーする。ツールが呼び出されるたびにアプリケーションデータ、デバイス状態、または権限が変更され、不足しているパラメーター、`PermissionDenied`、エンティティの曖昧性といった結果がプランナーへ返される。評価器はタスクごとに、正確なツールとパラメーター、複数の経路を許容する終端状態、必須の呼び出し順序、あるいは専用サブエージェントへ委譲する際のルーティングとhandoffの内容を検証する。

タスクの内訳は、基本的なツール利用が1,040件、メモリ利用が376件、Skill利用が200件、サブエージェント連携が89件。GUI操作は委譲可能な下流能力と位置付けられているため、このベンチマークは主に、中央プランナーがAPIを選択し、個人の選好を適用し、複合ワークフローを読み込み、実行時のフィードバックを処理できるかを切り分けて評価する。AndroidWorldのように、視覚的な位置特定やクリック精度を直接測定するものではない。

評価対象となった13モデルのうち、Claude Opus 5が75.52%で最高の加重総合スコアを記録した。基本ツールとSkillのスコアはそれぞれ83.85%と78.00%だった一方、メモリ利用は58.51%にとどまった。各部門の最高スコアは同じモデルによるものではない。Qwen 3.8 Maxのメモリスコアは64.63%、Gemini 3.1 Proのサブエージェント連携は77.53%であり、直接的なfunction calling、パーソナライズされたgrounding、委譲能力が相互に代替できないことを示している。エラー分析では、モデルが権限問題や制約に直面した際、追加情報を尋ねたり再プランニングしたりせず、存在しない、または無効なツール呼び出しを早まって生成する傾向も確認された。

公開状況には、なお重要な隔たりがある。論文では完全なタスク、データ、高スループットのsandboxがすべてオープンソース化されたとしているが、8月27日時点でApache-2.0ライセンスのGitHubリポジトリに含まれるのはWebサイト、README、ライセンスファイルのみで、Hugging Faceにもデータセットへのリンクはない。公開ページで提示されているのはサンプルにすぎず、実際のクエリとground truthは非公開の評価サービスに残されている。現時点でエンジニアリングチームは、その検証設計とリーダーボードを参考にできるものの、公開済みの成果物だけで75.52%という結果を完全に再現することはできない。今後は、sandbox、タスクのバージョン、再現可能な設定が実際に公開されるかを注視すべきだ。