ホームへ戻る

AI 安全

2つの研究が画像の安全性を検証:拒否率だけではリスク全体を測れない

テキストと記号の組み合わせで画像生成の結果は変わり、元画像のリスクも編集判断に影響する。ただし、画像が返されたからといって有害な内容の生成に成功したとは限らない。2つの研究は分けて解釈する必要がある。

zh-Hant

画像生成・編集ツールを連携させる開発者にとって、安全性の受け入れテストで「拒否したかどうか」だけを記録していると、最も重要な問いを見落とすおそれがある。完成品は実際に何を伝えているのか。2026年11月19日にarXivへ投稿された2つの研究は、それぞれ肯定的な記号を組み合わせたテキストと、異なる編集指示を添えたリスクのある画像を検証した。どちらも入力形式と安全性の挙動のずれを観察しているが、測定しているものは同じではない。研究1、研究2

疑問文に肯定記号を加えると、元の意味が戻る

Haoyang Xuらによる第1の研究では、看板など文字を含む生成画像を検証した。有害な主張を疑問文に変え、チェックマークなどの肯定的な要素を加えても、システムは拒否するのか。著者らはこの構造を「遅延意味コミットメント」と呼ぶ。まず疑問文で賛同を取り除き、別の要素によって肯定的な意味を補うという考え方だ。論文の要旨

著者らが作成した300件のチャレンジセットでは、gpt-image-2が画像を返した割合は、直接的な断定文で16.3%、疑問文と肯定記号の組み合わせで43.3%だった。全ケースを分母とした場合、元の主張に賛同していると著者らが判定した画像が生成された割合は、それぞれ15.3%と41.3%だった。このテストでは、画像が生成されたかだけでなく、出力が元の意味を保っているかも確認している。結果と設計

ただし、この300件は選別されたケースだ。直接的な断定文では初回のテストで画像が得られず、再送信後に一部が成功したケースが選ばれている。そのため、これらの割合は特定のチャレンジセットについての結果であり、一般的なリクエスト全体の回避率とみなすことはできない。著者らは、商用システムの内部安全プロセスを調査できないことも明記している。テスト範囲

元画像にリスクがある場合、中立的な指示は許可すべきか

Ziqing Yangらによる第2の研究はEditSafetyBenchを提案した。660枚の画像それぞれに9つの固定指示を組み合わせ、計5,940組のテストを作成し、11種類のリスクを対象とした。指示は中立的な編集、リスクの低減、有害な意図の3種類で、同じテキストを使い、安全な元画像とリスクのある元画像への対応の違いを比較した。データセットの設計

著者らの報告によると、有害な意図を含む指示に対するGeminiとGPTの拒否率は、それぞれ87.1%と81.6%だった。「リスクのある画像+中立的な指示」では、24.2%と22.4%だった。テストにはデフォルト設定の商用API、gemini-2.5-flash-imageとgpt-image-1-miniを使用しており、第1の研究で使われたgpt-image-2とは異なる。要旨、実験設定

この結果を、有害な画像の生成成功率と直接解釈することはできない。第2の研究が記録したのは許可、拒否、エラーのいずれかであり、出力の有害性は評価していない。許可された場合でも、安全な結果になる可能性がある。著者らも、既存のリスク画像を明るくしたりトリミングしたりする操作を拒否すべきかどうかは、用途やプラットフォームのポリシーによって異なり、あらゆる状況に当てはまる答えはないと認めている。評価範囲と考察

受け入れテストでは完成品と編集の目的を確認する

どちらも研究チームによる独自のテスト報告であり、モデル提供元が確認した不具合の告知ではない。本記事でも実験を再現していない。これらの研究が示すのは、入力の組み合わせ方によって観察される安全性の挙動が変わるということだ。すべてのツールがテキストと画像を別々に審査していると結論づけることはできない。研究1、研究2

統合を担う開発者にとって、ここから導けるのは、単一の拒否率を追うよりも、元画像、編集の目的、完成品をあわせて確認するほうが有用な受け入れテストになるということだ。センシティブな内容を隠すことは被害を軽減する場合がある。一方、有害な主張への賛同を保った看板を生成するのは、別の結果だ。両者には異なる判断基準が必要となる。

出典

  1. Question, Then Affirm: Restoring Commitment Does Not Restore Refusal
  2. Question, Then Affirm: Restoring Commitment Does Not Restore Refusal
  3. Text-Aware, Vision-Blind: How Multimodal Image Editing Systems Handle Unsafe Inputs
  4. Text-Aware, Vision-Blind: How Multimodal Image Editing Systems Handle Unsafe Inputs