7種類の単純な画像変換で3つの商用AIコンテンツモデレーションサービスを回避可能

商用コンテンツモデレーションサービスは専用分類器からマルチモーダル基盤モデルへ移行しつつあるが、より広範な意味理解が自動的に高い敵対的堅牢性をもたらすわけではない。7月30日に投稿された新たな研究では、既存の3つの商用画像モデレーションサービスをブラックボックス方式でテストし、複数のデータセットと有害カテゴリに7種類の汎用画像変換を適用した。攻撃者はモデルの重みや勾配、クエリによって訓練した代理モデル、ベンダー向けに設計した摂動を必要とせず、入力画像を変更するだけでunsafeからsafeへの判定反転を観測できる。

注目すべき点は、成功した変換がすべて人間には知覚できない微小なノイズだったわけではないことだ。固定的な色の反転やグレースケール変換でも3つのサービスすべてに見逃しが生じた一方、画像の内容は人間が引き続き認識できた。研究では知覚的類似度の制約と異なる変換強度を用いて結果を検証し、堅牢性がデータセット、有害カテゴリ、サービスによって大きく変動することも確認した。マルチモーダルコンテンツと自傷画像では特に顕著な弱点が見られ、モデレーションモデルが意味的な有害性について安定した表現を形成せず、色分布、局所テクスチャ、データセットのショートカットに依存している可能性を示している。

この結果が示唆するものは、個々のモデルアーキテクチャの順位付けよりも、APIの利用方法に対する影響の方が大きい。アップロード、ソーシャル、または生成プラットフォームが1回のモデレーション応答をそのままアクセス可否のゲートとして扱えば、攻撃者は低コストな変種をオフラインで大量に生成し、通過できるバージョンを段階的に探索できる。より堅牢なパイプラインでは、ファイルと出所に関するシグナル、画像の正規化、マルチスケールまたはマルチビュー検査、専用分類器、テキストおよびOCR分岐、重複コンテンツのハッシュ、高リスクカテゴリを人間による審査へエスカレーションするプロセスを組み合わせるべきだ。同時に、モデルとポリシーのバージョンを記録し、一般的な編集操作を網羅する回帰テストを構築する必要がある。

ただし、これはベンダーAPIを特定時点で測定したブラックボックス評価にすぎないという制約がある。サーバー側のモデル、しきい値、ポリシーは告知なしに更新される可能性があり、論文から内部の障害メカニズムを特定することもできない。今後、エンジニアリングチームは、著者が完全なクエリセットと再現用コードを公開するか、またベンダーが固定バージョン、同一のクエリコストおよび誤検知率という条件下で防御効果を再現できるかに注目すべきである。