REDAgentBench、サービスの最終状態でエージェント攻撃率を再計算、テキスト軌跡による見逃しは最大11.72ポイント

エージェントの安全性テストでは、回答、ツール呼び出し、思考軌跡を評価モデルに渡し、単一の攻撃成功率を算出することが多い。REDAgentBenchは、この方法では「攻撃がエージェントに到達したか」「エージェントが実行したか」「評価者がどの証拠を確認できたか」「その証拠をどう判定したか」という4つの異なる段階が混同されると指摘する。同ベンチマークは、15種類の介入手法、11カテゴリーのシステム脆弱性、28項目の安全制約を網羅する1,661件の実行可能なケースを構築。隔離されたワークスペース、メール、ブラウザ、銀行、外部ファイルサービスで、ファイルの変更、メール送信、送金などの永続的な影響を記録した。

各テストの開始前にサービスの基準状態を保存し、終了後に構造化されたレシートと状態差分を取得する。直接判定できるフィールドは決定論的な検証器が優先的に処理し、意味的な解釈を要する制約だけを、証拠の引用を求めるモデル評価者に委ねる。これにより、エージェントによる「拒否した」「完了していない」といった自己申告を信用することなく、軌跡、状態、両者を組み合わせた各視点を個別に比較できる。

研究では、GPT-5.2、3種類のQwen、Kimi K2.6、GLM-5.2を、Codex、Hermes、OpenClawという3種類のエージェントシェルと組み合わせ、マトリックス形式のテストを実施した。複合評価における攻撃成功率のマクロ平均は65.69%だったが、モデルの順位と絶対値はシェルによって変化した。同一のrollout群と評価バックボーンに固定しても、状態ベースの視点は軌跡ベースの視点より、成功した攻撃を7.73～11.72ポイント多く検出し、ペア比較したラベルの12.97～21.20%が変化した。

別の診断では、実行されたアクションを明確に特定できる確認済み違反のうち、約5分の1が、エージェント自身が関連する制約に先に言及した後で発生していた。アクション境界でケース固有のポリシーリマインダーを再注入すると、ペアでのリプレイにおける確認済み違反が70ポイント超減少した。これは、安全ルールを「モデルが口にした」ことと、そのルールが実際にツールの実行を制御することは同義ではないと示している。

ただし、著者らはダウンロード可能なベンチマークリポジトリをまだ公開しておらず、第三者は現時点でケースジェネレーター、サービスサンドボックス、再実行結果を完全には監査できない。また、大幅な低下は過去の有害ケースを選択的にリプレイした結果でもあり、すべてのエージェントトラフィックで同等の改善が得られると解釈すべきではない。エンジニアリングチームは今後、安全性ランキングに対し、エージェントシェル、ツール仲介層、証拠の視点、有効なrolloutの分母、最終状態の検証方法を併せて開示するよう求めるべきだ。