返回首頁

GitHub Repo

Ollama 社群回報 ShieldGemma 範本指令矛盾,提示審查仍被描述為回答審查

10 月 27 日的 Ollama 社群回報指出,ShieldGemma 在審查使用者提示時,開頭仍要求模型判斷 AI 回答,與後續指令不一致。公開範本可確認這項差異,但尚無準確率影響數據或正式修補。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 社群於 10 月 27 日提出 ShieldGemma 安全分類範本問題:只輸入使用者訊息、要求判斷提示是否違反政策時,範本開頭仍把任務描述為審查 AI 回答。截至查核時,議題仍開放,頁面未列出關聯修補 PR,也沒有維護者確認實際分類影響。社群回報

這項指令矛盾可從 Ollama 公開的 shieldgemma:2b 範本直接確認。範本先收集使用者內容與助理回答,以 $cr 是否存在決定要不要插入回答區塊,也會切換安全政策措辭;然而最前面的任務描述沒有相同條件判斷,始終指向 AI 回答。當輸入只有使用者訊息時,結尾卻要求判斷人類問題,形成前後不一致的審查對象。公開範本

Google 文件指出,第一代 ShieldGemma 建立於 Gemma 2,提供 2B、9B 與 27B 規模,支援提示輸入與輸出回答的安全評估。因此,部署端正確區分這兩種任務,是符合模型用途的整合要求;這次回報涉及文字安全模型,與用於影像標記的 ShieldGemma 2 應分開看待。Google 文件

技術上值得追蹤的是,安全分類器的判斷同樣依賴推論時的完整提示。依範本結構推論,任務描述不一致可能增加判讀歧義,但目前沒有對照實驗證明它會提高漏判或誤判率,也不能據此宣稱已有安全防護遭繞過。回報者建議依是否存在助理回答切換開頭文字,這仍只是待驗證的修正方向。修正建議

使用這套模型作為輸入閘門的工程團隊,可先以 ollama show shieldgemma:2b --template 檢查實際範本,再用相同測試集比較修改前後的分類結果。後續應關注範本是否更新、其他模型標籤是否同步,以及提示審查與回答審查各自的誤判率;單憑指令文字修正,仍不足以證明安全效果改善。

來源

  1. shieldgemma template asks about an AI response when classifying a user prompt — Issue #19313
  2. shieldgemma:2b 公開推論範本
  3. ShieldGemma 官方文件