SafeKeep、ツールschemaがモデルの拒否シグナルを弱めることを発見—プロンプトインジェクション成功率を2.5%に低減

ツール呼び出しは通常、モデルの出力を構造化パラメータへ変換するエンジニアリング層とみなされている。しかしSafeKeepチームは、ツールの機能をschema形式で記述するだけでも、モデルの安全性に関する挙動が変化し得ることを発見した。研究では、ホワイトボックスの隠れ状態分析を用いて通常のチャットプロンプトとエージェントプロンプトを比較し、ツール仕様を追加すると、モデル内部に元から存在していた拒否方向が弱まることを観察した。schemaの意味内容を無意味なテキストに置き換えたり、エージェントプロンプトを構成要素ごとに分解したりした場合でも、構造自体が安全性低下を引き起こす重要な要因であることが示された。

チームが提案するSafeKeepは、実際のツールインターフェースを変更せず、安全性判定と実行を2つの経路に分離する。判定器はまず、JSONから自然言語へ平文化されたツール記述を読み、要求を拒否すべきかどうかを確認する。判定を通過した後、実行モデルは引き続き元のschemaを使用して、有効なツール呼び出しを生成する。これにより、安全性チェックのためにパラメータ制約を損なうことを避けられるほか、既存のエージェントフレームワークの推論フロントエンドにも配置できる。

2つのベンチマークと、4つのホワイトボックスおよびブラックボックスモデルを対象とした自己申告の結果では、有害な要求に対する平均拒否率が23.8%から70.6%へ上昇し、観察コンテンツレベルのプロンプトインジェクションにおける平均攻撃成功率は25.6%から2.5%へ低下した。公開コードには、400組のペア要求、表現方向の抽出、因果介入、エンドツーエンドのデモが含まれている。また、チャットテンプレートによるツールのレンダリング方法自体が検証対象の変数であるため、Transformersのバージョンも明示的に固定されている。

この結果は、エージェント開発者に対し、安全性の回帰テストでは実際のツールschema、テンプレートのバージョン、シリアライゼーション形式まで対象に含める必要があり、ツールを付与していない素のモデルだけをテストしてはならないことを示唆している。ただし、現時点でライブラリの規模は非常に小さく、主要なホワイトボックス再現ではLlama 3.1 8B InstructとQwen2.5 7B Instructが使用されている。拒否率の上昇が大規模な本番用ツールセットにおいて誤検知、追加レイテンシ、判定器の迂回を引き起こすかどうかについては、今後の独立した検証が必要だ。