AeroCopilotBenchは飛行手順を実行可能な状態機械に変換、最高性能のエージェントでも安全通過率は72.6%にとどまる

北京航空航天大学の研究チームは[AeroCopilotBench](https://arxiv.org/abs/2608.16349)を提案し、航空エージェントの評価を選択式問題から、状態を持つ仮想コックピットへと発展させた。Tier-1には、FAA、CFR、飛行マニュアルを基に作成した1,200問の航空知識問題が含まれる。Tier-2では、Cessna 172SとPiper PA-44-180の緊急時および異常時手順を、12種類のシナリオテンプレート、73件のタスク、259個のタスク固有の厳格な安全制約としてエンコードしている。

AeroCopilot Operational Environment（ACOE）は連続的なフライトシミュレーターではなく、部分観測可能な決定論的離散状態機械である。エージェントは12種類の固定ツールのみを通じて、計器を個別に読み取り、書き込み可能なコントローラーを変更し、固定された気象、性能、規制データを照会できる。隠れ状態、最終目標、採点ルールを直接読み取ることはできない。正規の操作であっても危険な場合は実際に実行され、軌跡に恒久的に記録される。このため、エージェントが後から正しい設定に戻しても、安全違反を帳消しにはできない。各問題の意思決定は最大48ターンで、成功するには全目標の達成と、軌跡全体を通じた違反ゼロの両方が求められる。

この環境はMCP serverとしてもラップされている。研究者は全73件のタスクについて参照操作シーケンスを実行し、ネイティブインターフェースとMCPインターフェースが同一の応答とスコアを生成することを検証した。これは[MCPがモデルのツール利用向けに提供する標準化インターフェース](https://modelcontextprotocol.io/docs/getting-started/intro)を活用したものだが、正式なモデル実験では引き続きネイティブのfunction-calling経路が使用された。

12モデルが、Tier-2の各タスクをそれぞれ3回実行した。GPT-5.6 Solが成功率72.6%で首位となり、安全遵守率は97.3%だった。オープンウェイトモデルではGLM-5.1が最高で、成功率は53.0%だった。さらに注目すべき点として、Qwen3.5-397B-A17BとDeepSeek V4 Proは知識問題の正答率の差がわずか0.41ポイントだった一方、インタラクティブタスクの成功率には27.4ポイントの差があった。代表的な3モデルで発生した451件の失敗は、主に重要手順の見落とし、誤った意味論的事前知識、最新状態に基づく行動制約の欠如、長い手順の後半におけるドリフトに起因していた。

限界も明確である。ACOEは空気力学、センサーノイズ、故障の進行、現実の時間的プレッシャーをシミュレートしていない。また、電子チェックリストを提供しないクローズドブック設定を採用しており、論文ページにも公開リポジトリへのリンクはない。現時点では、モデルが実際のコックピットで安全に運用できることを証明するものというより、エージェントのオーケストレーションと回帰テストの手法として適している。