Shieldstral、モデレーションポリシーをクエリに組み込み、3Bマルチモーダルモデルがテキスト安全性評価で平均F1 84.9%を達成

Mistral AIの研究チームは、Ministral-3B-Base-2512をベースとする30億パラメータのマルチモーダル安全性分類器、Shieldstralを公開した。入力を固定された「暴力、ヘイト、性的コンテンツ」ラベルに当てはめるのではなく、「コンテンツは暴力を助長しているか」といった自然言語のポリシークエリを受け取り、テキスト、画像、またはその組み合わせに対してyes／noの正規化確率を出力する。これにより、同じコンテンツでも、子ども向けサービス、サイバーセキュリティ研究、一般的なチャット製品など、それぞれ異なるポリシーに基づいて再判定できる。

学習データは約5,410万件で、内訳は公開テキストデータ4,520万件、合成コントラストサンプル440万件、マルチモーダルサンプル450万件。チームは異種データセットをinstruction、query、documentの3列形式に変換し、同一コンテンツを関連する危害クエリと無関係な危害クエリの両方に対応付けた。これにより、モデルは大まかな安全／危険の境界だけでなく、具体的なポリシーを識別するよう促される。モデルはLoRAを用いて、公開データのみのcheckpointと合成データを追加したcheckpointをそれぞれ学習し、その後SLERPによってベースのinstructionモデルとマージされた。

16のベンチマーク、21のデータ分割、10の比較モデルを対象とした公式実験で、Shieldstralのテキスト安全性における平均F1は84.9%、マルチモーダルでは83.8%だった。学習ラベルを一対一で流用せず、独立して設計されたきめ細かなポリシーテストでは、F1は91.3%に達した。エンジニアリングチームにとって、このインターフェースは製品ごとに分類ヘッドを再学習する必要性を減らせるほか、ポリシーのバージョンをリクエストや監査ログに直接組み込める。

制約として、現時点の数値はすべて著者による自己評価であり、一部のテストデータもLLMによって生成・検証されているため、共通のバイアスが残っている可能性がある。また、固定された0.5の閾値は、誤検知のコストが大きく異なるユースケースへそのまま適用するのには適していない。公開時点で論文は手法の全容を示しているものの、対応するモデルの重みや再現可能な推論コードは確認できない。今後は、重みのライセンス、レイテンシ、キャリブレーション曲線に加え、プロンプトインジェクション、ポリシー間の矛盾、中国語の婉曲的な表現に直面した際にも安定性を維持できるかを注視する必要がある。