ホームへ戻る

AI 安全與推論系統

ResponseGuard、単一フォワードパスでマルチモーダルな有害応答を遮断、推論型ガードよりレイテンシーを約150分の1に

ResponseGuardはマルチモーダル応答の審査を二値分類として再定式化し、思考連鎖を生成せず、ストリーミング中に文単位で判定できる。著者らの自己評価では、応答検知性能が3B推論型ベースラインを上回ったが、モデルの重み、学習コード、データ分割はまだ公開されていない。

Letartean · CC BY 3.0 · Image source
zh-Hant

新たに提案されたResponseGuardは、「安全性モデルにも段階的な推論が必要だ」という設計思想に異議を唱える。システムはQwen3-VL-Embedding-2Bをバックボーンとし、ビジョンエンコーダーを凍結したうえで、LoRA、2組の安全/有害参照ベクトル、小型の分類ヘッドを使用し、ユーザープロンプト、画像、現在の応答の表現を集約する。出力は単一の有害確率であり、根拠やラベルtokenをデコードしないため、各チェックに必要なのは1回のフォワードパスだけだ。デプロイ時には文が完結するたびに再スコアリングし、しきい値を超えた場合に生成を停止できる。

著者らは、同一のRTX A6000、BF16、ウォームキャッシュという条件で、ResponseGuard-2Bの判定レイテンシー中央値を67.6ミリ秒と測定した。一方、GuardReasoner-VL-3Bは平均約238個の推論tokenを生成し、10.12秒を要した。マルチモーダル応答の有害性テストにおける加重F1は、それぞれ77.31と76.56だった。思考連鎖を再サンプリングしても、テキスト判定の変化は2.5%、画像判定では7.8%にとどまり、連鎖の長さと正解率にもほとんど相関がなかった。これは、一部の安全性推論が事後的な説明にすぎない可能性を裏付けている。

ストリーミングシミュレーションでは、しきい値を0.5に設定した場合、有害な応答の95%を完了前に遮断し、有害なテキストの87.7%を非表示にできた。その代償として、正常な応答の28.5%も誤って停止された。画像は依然として弱点だ。プロンプト審査では推論型ベースラインが総合的に優位であり、ResponseGuardの不確実性も画像のみのケースに集中している。さらに重要なのは、現時点のリポジトリにはドキュメントしかなく、モデルの重み、学習・評価用notebook、ストリーミングツール、前処理済みデータ分割はいずれも「coming soon」と記載されている点だ。エンジニアリングチームは実行可能な成果物の公開を待ち、自社で扱う言語、画像の種類、許容可能な誤遮断率に合わせて再調整すべきであり、論文のしきい値をそのまま採用してはならない。

出典

  1. When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation
  2. ResponseGuard official repository