OllamaコミュニティがShieldGemmaのテンプレート指示の矛盾を報告、プロンプト審査も回答審査として記述

Ollamaコミュニティは10月27日、ShieldGemmaの安全分類テンプレートに関する問題を報告しました。ユーザーメッセージだけを入力し、そのプロンプトがポリシーに違反しているかを判定するよう求めた場合でも、テンプレートの冒頭ではAIの回答を審査するタスクとして記述されています。確認時点でこのIssueは未解決で、関連する修正PRは掲載されておらず、実際の分類への影響についてメンテナーからの確認もありません。コミュニティからの報告

この指示の矛盾は、Ollamaが公開しているshieldgemma:2bのテンプレートで直接確認できます。テンプレートはユーザーの内容とアシスタントの回答を受け取り、$crが存在するかどうかに応じて回答部分を挿入するかを決め、セーフティポリシーの文言も切り替えます。しかし、冒頭のタスク説明には同じ条件分岐がなく、常にAIの回答を審査するよう指示しています。入力がユーザーメッセージだけの場合、末尾では人間の質問を判定するよう求めるため、審査対象が前後で一致しません。公開テンプレート

Googleのドキュメントによると、第1世代のShieldGemmaはGemma 2を基盤とし、2B、9B、27Bの各サイズを提供し、プロンプト入力と出力された回答の安全性評価をサポートしています。そのため、デプロイ側がこの2種類のタスクを正しく区別することは、モデルの用途に沿った統合要件です。今回の報告はテキスト安全性モデルに関するものであり、画像ラベリングに使われるShieldGemma 2とは分けて考える必要があります。Googleのドキュメント

技術的に注目すべき点は、安全分類器の判定も推論時に与えられるプロンプト全体に依存することです。テンプレートの構造からは、タスク説明の不一致によって解釈が曖昧になる可能性が考えられます。ただし、見逃し率や誤判定率が上がることを示す比較実験はなく、これを根拠に既存のセーフティガードレールが回避されたと主張することもできません。報告者は、アシスタントの回答の有無に応じて冒頭の文言を切り替えることを提案していますが、これはまだ検証を要する修正案です。修正案

このモデルを入力ゲートとして利用するエンジニアリングチームは、まずollama show shieldgemma:2b --templateで実際のテンプレートを確認し、同じテストセットを使って修正前後の分類結果を比較できます。今後は、テンプレートが更新されるか、ほかのモデルタグにも変更が反映されるか、プロンプト審査と回答審査それぞれの誤判定率がどうなるかに注目してください。指示文を修正しただけでは、安全性が向上したことの証明にはなりません。