TREK、実行可能なルールで旅行エージェントを検証――最強モデルでも完全実行可能率は46.2%にとどまる

7月29日に公開されたTREKは、別の言語モデルに旅程が妥当かどうかを主観的に判断させるのではなく、旅行計画を再現可能なツールエージェント評価として設計している。このベンチマークには複数の制約を伴う800件のタスクが含まれ、そのうち533件は解決可能、267件は解決不能であることを証明できるよう構成されている。後者にはルート、エンティティ、予算などに関する型付きの理由も付与されており、エージェントには、完遂できない場合に無理に回答を作り上げるのではなく、正しい理由で拒否することが求められる。

タスクは、完全に合成され、内部整合性を備えたナレッジベース上に構築されている。ここには375都市、13種類の旅行者persona、ならびにフライト、ホテル、観光スポット、レンタカーに関する212,530件のデータが収録されている。エージェントは表を直接参照できず、構造化されたエラーを返すREST APIサンドボックスを通じてのみ検索と計画の提出を行える。スコアラーは、指定されたエンティティ、都市と予算、明示されていない設備要件、該当項目がデータベースに実在するか、営業時間、日ごとの交通上の到達可能性、解決不能なタスクを拒否する理由など、9つの観点を一つずつ検証する。すべての条件を同時に満たした場合にのみtask-perfectと判定される。

チームが15種類のLLMエージェントをテストしたところ、最も優れたGPT-5.6でも、解決可能なタスクの完全通過率は46.2%だった。中央値はわずか6.6%で、最低値は0%だった。暗黙のpersona要件は、すべてのモデルに共通するボトルネックとなった。この結果は、単一の「情報が正しいか」というスコアよりも実環境へのデプロイに近い。旅程の9割が妥当でも、フライトが存在しない、移動時間が現実的でない、あるいは総額が予算を超えていれば、ユーザーにとっては依然として失敗した成果物だからだ。

リポジトリでは、タスク、ナレッジベース、ゴールド回答、エージェントランナー、決定論的スコアラーが公開された。800件のゴールド回答はオフラインで再評価でき、すべてが1.0を獲得するため、少なくともスコアの上限に到達可能であることは証明されている。ただし、合成された価格と時刻表では、実在するWebサイトにおけるデータドリフト、スクレイピング対策、決済ステータスが排除されているほか、公式のエージェントランナーも主にAmazon Bedrock向けである。現時点の結果は依然として著者自身が生成したもので、GitHubリポジトリの公開時点では外部での採用を示すシグナルもなかった。次に注目すべきは、第三者がリーダーボードを再現できるか、またリアルタイム在庫、ツール障害、言語横断的な要件を追加した後もモデルのランキングが維持されるかどうかだ。