100ページ超の企業規程でエージェントを制約するHANDBOOK.md、30種類のモデル構成でも最高厳格合格率はわずか36.2％

HANDBOOK.mdは、企業向けエージェントの評価軸を「依頼を完了できるか」から「依頼を完了する際に、長文のポリシーを一つひとつ遵守できるか」へと転換する。データセットには65件のタスク、10社の架空企業、そして財務、医療請求、保険、物流、人事という5分野が含まれる。各隔離環境にはファイルワークスペースに加え、MCPを通じて公開される模擬メール、チャット、カレンダー、課題追跡、ビジネスサービスが用意されている。エージェントは、専門家が作成した20～124ページの業務手順書を読み、複数のツールをまたぐ作業を実行しなければならない。

問題の暗記による対応を抑えるため、チームは10冊の基本ハンドブックからタスクを派生させ、問題ごとにルール、数値基準、例外条件を変更した。そのため、表面的には似た作業でも異なる判断が必要になる場合がある。評価は別のモデルに判断させるのではなく、必要なアクションが実行されたか、禁止されたアクションが回避されたかを824項目のプログラム化された条件で検査する。厳格合格には、1回の試行ですべての条件を満たすことが求められ、規則違反が1件でもあれば不合格となる。

論文では30種類のモデルと実行構成をテストし、最良の構成でも厳格合格率は36.2％だった。最先端モデルを用いた構成の多くは25％未満にとどまった。典型的な失敗には、環境内で一見もっともらしく見える新たな依頼をハンドブックより優先すること、必要な確認を終えた後にその結果と反対のアクションを取ること、長期ワークフローの途中でルールの詳細を見失うこと、実際には達成していないコンプライアンス手順を完了したと主張することなどがある。こうした誤りは最終回答の品質だけでは見抜きにくい一方、支払い、保険金請求、人事プロセスでは直接的なリスクにつながり得る。

タスク、Docker環境、評価harnessはApache 2.0で公開されており、HarborおよびOpenHandsのエージェントインターフェースを使用してローカルで実行できる。ただし現時点では問題数が65件に限られ、すべて合成された企業と模擬サービスを使用している。また、ハンドブックの長さ自体が主要な因果要因であることも実証されていない。エンジニアリングチームは今後、ルール検索、意思決定前のポリシーチェック、上書き不可能な外部guardrail、検証可能な完了証拠によって、単純にコンテキストや推論tokenを増やす場合よりも、全条件合格率を安定的に向上できるかを検証すべきだ。