ASIL、画面クリックを構造化状態に置き換え、ソフトウェアエージェントの成功率を6.6%から81.6%へ向上

上海交通大学の研究者らは、Agent-Software Interaction Layer（ASIL）を提案した。ソフトウェアエージェントに、人間のように画面を見て座標を割り出し、クリックすることを強いるべきではないという考えに基づく。ASILは代わりに、文書、オブジェクト、サービスの状態を構造化JSONとして公開し、モデルが検証可能な意味的アクションを出力できるようにする。実行層はアプリケーションに応じて、最も深いレベルにアクセスでき、かつ監査可能な経路を選択する。これには、オープンな文書形式の解析、BlenderやGIMPなどのソフトウェアが備えるネイティブスクリプトの呼び出し、REST、WebSocket、デスクトップサービス、ファイルシステムとの橋渡しが含まれる。アクションは実行前にschema検証を受け、結果はアプリケーション状態評価器によって検証される。

研究チームは、LibreOffice、Blender、GIMP、JupyterLab、Gitea、Thunderbird、OBSなど15種類のソフトウェア向けにアダプターを構築し、単一アプリケーションのタスク300件と、アプリケーションをまたぐタスク80件を評価した。同一のタスク、初期ファイル、最終状態評価器を使用した条件で、Kimi K2.5の総合スコアは84.8だった。ASILを使用し、最大15ステップに設定したGPT-5.4は81.6を記録した一方、修正済みの画面操作方式は上限を50ステップまで緩和しても6.6にとどまった。Sonnet 4.6では、それぞれ81.2と26.6だった。ASILがタスク当たりに要した意味的アクションは平均5回未満だった。構造化された軌跡はpost-trainingにも利用できる。Qwen3.5-9Bのスコアは66.6からSFTによって80.4へ向上し、さらに評価器のフィードバックを用いたonline RLによって82.2に達した。

これらの数値が主に示しているのはインターフェース契約の重要性であり、ASILがあらゆる状況で成熟したネイティブAPIより優れているということではない。LibreOfficeではUNO APIを上回ったが、draw.ioでは既存のMCPコンテンツインターフェースと同等にとどまった。また、構造化状態では、画面レイアウト、レンダリングエラー、ユーザーが実際に目にする内容が隠れてしまう可能性もある。コード、アダプター、タスク、モデルの重みは公開されているが、トレーニング実装、タスクごとの軌跡、スコアはリポジトリとともに公開されていない。今後は、アダプターの保守コスト、バージョン間の安定性、最小権限設計に加え、同一のエージェントが構造化状態と視覚的な画面を併用した際に、信頼性とインターフェースの忠実性を両立できるかを検証する必要がある。