返回首頁

AI 安全

兩項研究檢視圖像安全:拒絕率難代表完整風險

文字與符號的組合會改變生圖結果,原圖風險也會影響編輯判斷。但有回傳圖片,不等於成功生成有害內容;兩篇研究必須分開解讀。

zh-Hant

對串接生圖與圖片編輯工具的開發者,安全驗收若只記錄「有沒有拒絕」,可能漏掉最重要的問題:完成品究竟傳達什麼意思?兩篇於 2026 年 11 月 19 日提交 arXiv 的研究,分別測試文字搭配肯定符號,以及風險圖片搭配不同編輯指令。兩者都觀察到輸入形式與安全行為的落差,但測量的並不是同一件事。研究一、研究二

問句加上肯定符號,原意回來了

第一篇由 Haoyang Xu 等研究者撰寫,測試招牌等帶有文字的生成圖片:把有害主張改成問句,再加入勾號等肯定元素,系統是否仍會拒絕?作者稱這種結構為「延後語意承諾」,意指先用問句撤去認同,再由另一元素補回肯定意思。論文摘要

在作者建立的 300 案挑戰集中,gpt-image-2 對直接陳述的圖片回傳率為 16.3%,對問句加肯定符號則為 43.3%。以全部案例為分母,產生被作者判定為認同原主張之圖片的比例,分別為 15.3% 與 41.3%。這項測試不只計算是否生圖,也檢查產物是否保留原本意思。結果與設計

限制是,這 300 案都經過篩選:直接陳述在初次測試時沒有取得圖片,重新提交後才有部分成功。因此,這些比例描述的是特定挑戰集,不能當成一般請求的整體繞過率。作者也明言無法檢視商用系統的內部安全流程。測試範圍

原圖有風險,中性指令該不該放行?

第二篇由 Ziqing Yang 等研究者提出 EditSafetyBench,將 660 張圖片各配上九項固定指令,共形成 5,940 組測試,涵蓋 11 類風險。指令包括中性編輯、降低風險及有害意圖三種,用相同文字比較安全與不安全原圖的處理差異。資料集設計

作者報告,Gemini 與 GPT 對有害意圖指令的拒絕率分別為 87.1% 與 81.6%;對「風險圖片加中性指令」則為 24.2% 與 22.4%。測試使用預設設定的 gemini-2.5-flash-image 與 gpt-image-1-mini 商用 API,並非第一篇的 gpt-image-2。摘要、實驗設定

這不能直接解讀為有害圖片生成成功率。第二篇只記錄允許、拒絕或出錯,沒有評估輸出的有害程度;放行仍可能得到安全結果。作者也承認,對既有風險圖片調亮或裁切,是否應拒絕,取決於用途與平台政策,並沒有適用所有情境的答案。評估範圍與討論

驗收要看完成品,也要看編輯目的

兩篇都是研究團隊的原始測試報告,並非模型供應商確認的缺陷公告;本文也未重現實驗。它們支持的結論是:輸入如何組合,會影響觀察到的安全行為;不能據此斷言所有工具都把文字與圖片分開審查。研究一、研究二

對整合者,本文據此推論,更有用的驗收應同時檢查原圖、編輯目的與完成品,而非追求單一拒絕率。遮蔽敏感內容可能是在降低傷害;生成一張保留有害認同的招牌,則是另一種結果。兩者需要不同判準。

來源

  1. Question, Then Affirm: Restoring Commitment Does Not Restore Refusal
  2. Question, Then Affirm: Restoring Commitment Does Not Restore Refusal
  3. Text-Aware, Vision-Blind: How Multimodal Image Editing Systems Handle Unsafe Inputs
  4. Text-Aware, Vision-Blind: How Multimodal Image Editing Systems Handle Unsafe Inputs