StepGuard、ツール実行前にエージェントのアクションを審査。ただしタスクごとに推論時間が約2.53秒増加

多くのエージェント防御モデルは、プロンプト、応答、または完了後の軌跡全体を検査する。しかし、危険なステップがファイルの送信、ネットワークポリシーの変更、取引の実行である場合、事後に判定してもツールによる副作用は取り消せない。StepGuardは判定時点を各ツール呼び出しの直前に移し、現在の軌跡と候補アクションを入力として、安全性ラベル、リスク種別、危険なステップを出力する。同じ4Bモデルをオフラインの軌跡監査にも利用できる。

StepGenパイプラインではまず、共通する同一のプレフィックスを持ち、重要なアクションだけが分岐する安全／危険な軌跡を作成する。さらに、見た目は類似しているものの正当なツール再利用の事例も加え、特定のツール名を見ただけでモデルがブロックすることを防ぐ。コールドスタートの教師ありファインチューニング後、Balance-GRPOは各バッチのrolloutに含まれる安全サンプルと危険サンプルの正解率の差に応じてadvantageを再重み付けし、訓練リソースを現時点で弱いクラスへ振り向ける。アブレーション実験では、標準GRPOと比べて全体の正解率／F1が81.5／81.9から82.2／82.1へ向上し、2クラス間の正解率の差は13.0から8.0へ縮小した。

同じQwen3.6-35B-A3Bエージェントでテストしたところ、StepGuardはAgentDojoで攻撃成功率1.2、utility 90.7を記録した。AgentDynではそれぞれ9.3と66.7だった。チームは、無防御の構成と比べて攻撃成功率を平均77.3％相対的に低減し、utilityの低下を2.8パーセントポイントに抑えたとまとめている。ただし、コストは無視できない。すべての呼び出しを検査する場合、1回の防御処理に平均599.9ミリ秒を要し、195.5 tokenを生成する。タスクごとの検査回数は平均4.22回で、合計すると約2.53秒、825 tokenとなる。

モデルの重みと評価コードは公開済みだが、7,000件の訓練データセットとStepGenはまだ公開されておらず、現時点では第三者がデータ品質や教師モデルのバイアスを完全に再検証することはできない。著者らが分析した575件のエラーからも、StepGuardはツールを介した技術的な危害の検出を比較的得意とする一方、他人になりすまして課題を提出するといった制度上または規範上の違反を見逃す可能性があることが示された。エンジニアリングチームは、StepGuardを追加のリスク分類器と位置付けるべきであり、権限分離、人間による承認、ロールバック可能なツール設計に代わるセキュリティ境界と見なすべきではない。