視覚エンコーダーだけを逆伝播させてVLMを攻撃、H100での生成時間を20分超から約100秒に短縮

8月19日に提出された研究では、視覚言語モデル（VLM）への攻撃に必要な計算範囲を視覚エンコーダーに限定した。標的型攻撃では、まずターゲット画像のベクトルを取得し、I-FGSMを50イテレーション実行して元画像のピクセルを更新することで、敵対的画像とターゲットベクトルの平均二乗誤差を最小化する。一方、非標的型では、敵対的画像と元画像のベクトル間の距離を最大化する。勾配を言語モデルや完全な生成経路に通す必要がないため、メモリと計算量を削減できる。

研究では、ImageNetから無作為に選んだ1,000組の画像を用いて、Qwen2.5-VL-3B、Granite Vision 3.2 2B、FastVLM 7B、Phi-3.5 Visionをテストした。摂動上限がε=0.05の場合、非標的型攻撃の成功率は93.0%から99.8%だった。一方、標的型の結果には大きな差があり、Graniteは41.15%に達したのに対し、Phi-3.5はわずか2.0%だった。εを0.20に引き上げると、Granite、FastVLM、Qwenの成功率はそれぞれ約45.91%、29.5%、25.0%となった。この結果は、出力を指定した内容へ誘導するよりも、意味内容を破壊するほうが一般に大幅に容易であることを示している。また、視覚エンコーダーごとの脆弱性は、一般的な画像理解スコアから直接推測できないことも示唆している。

システム測定の結果も注目に値する。H100 80GB上では、VLM全体を逆伝播させる場合のGPUメモリ使用率は約44～47%だったが、エンコーダーのみを逆伝播させた場合は13～16%に低下した。Qwenでは、完全な経路による処理は20分を超えても完了しなかった一方、エンコーダー経路では約100秒で完了した。デプロイを担当するエンジニアは、画像の完全性チェック、入力の圧縮またはランダム化、エンコーダーレベルのストレステストをVLMのセキュリティ評価に組み込むべきだろう。

ただし、この論文では、1行の画像説明をGranite-4.0-microで比較しているため、成功率にジャッジモデルのバイアスが入り込んでいる可能性がある。また、各εにおける摂動の知覚可能性について、正式な人手評価も行われていない。この攻撃にはモデルの勾配が必要で、アーキテクチャごとに特徴層を調整しなければならない。モデル間で転移できること、クローズドAPIを攻撃できること、あるいは実際のカメラ撮影や再エンコード処理を経ても有効性を維持できることは、まだ実証されていない。