HazardAuditor、4種類のコンピューター操作エージェントの軌跡を統一し、シーケンスレベル報酬で安全性ゲートキーパーモデルを訓練

コンピューター操作エージェントのリスクは、単独のテキストではなく、「ファイルの読み取り、コマンドの実行、外部サービスの呼び出し」が連なる一連の行動全体に潜んでいることが多い。Ant Groupなどの研究者が提案したHazardAuditorは、Claude Code、Codex、Hermes、OpenClawを制御された環境で実際に実行し、各フレームワークで異なるプロンプト、推論、ツール引数、環境からの応答を共通の軌跡イベントへ正規化する。ゲートキーパーモデルは記録全体を読み取った後、まず監査可能な根拠を生成し、続いて確定的な`safe`または`unsafe`ラベルを出力する。悪意のあるテキストが含まれていても、エージェントが実行を拒否したケースは自動的に危険とは判定されない。

訓練における重要な変更点は、Guard Policy Optimization（GuardPO）だ。一般的なtokenレベルのSFTや方策更新では、長い分析文ほど多くの勾配が蓄積されるため、モデルが「長い理由を書く」ことを学習しても、最終的な安全性判定が必ずしも改善するとは限らない。GuardPOは、実行可能な環境から得られる確定的な結果をシーケンスレベルのadvantageへ変換し、根拠セクションとverdictセクションを個別に正規化することで、安全性に関する1回の意思決定全体を実際の最適化単位とする。

プロジェクトの報告によると、安全な軌跡と危険な軌跡を均衡させたCUA-Execにおいて、SFT版の正解率は80.50%で、GuardPOを追加すると90.88%に上昇した。研究で比較対象として挙げられた既存の最も強力なguardと比べ、Claude Code、Codex、Hermes、OpenClawの各サブセットで、それぞれ12.5、4.0、9.5、16.5ポイント改善した。また、AgentHazard、R-Judge、ASSE-Safety、ATBenchなどの外部ベンチマークでも、約87.6%～91.5%の正解率が報告されている。

コード、8B checkpoint、SFTおよびGuardPOのレシピは公開されている。推論エンジンは軌跡を信頼できないデータとして扱い、解析できない出力には安全をデフォルトとせず、空のラベルを返す。ただし、リポジトリには研究で使用した軌跡、サンプルごとの予測結果、訓練出力が含まれておらず、現時点で第三者が結果を完全に再計算することはできない。さらに重要なのは、これが事後的な軌跡分類器であり、すでに発生した副作用を取り消すことはできない点だ。実運用システムでは、引き続き最小権限、実行前ポリシー、隔離環境、人間による確認が必要となる。