GitHub Repo
Transformers、Gemma 3のAttention互換性の不具合を報告 Flash Attentionが画像処理を気付かれないまま変える可能性
Transformersコミュニティは11月13日、特定のFlash Attentionバックエンドを使用すると、Gemma 3の画像トークンに対する双方向Attentionが失われると報告した。最小再現コードと出力の差は示されているが、モデル全体の品質への影響と修正版は未確認だ。

Transformersコミュニティは11月13日、Gemma 3の互換性に関する問題を報告した。kernels-community/flash-attn2バックエンドを使用すると、画像トークンに本来適用される双方向Attentionが、気付かれないまま因果Attentionに変わる可能性がある。プログラムは引き続き出力を生成するが、ユーザーに警告は表示されない。確認時点で、この問題は未解決で、修正提案へのリンクもない。元のissue
この差は、モデルがどの位置の情報を参照できるかに関わる。報告者の分析によると、SDPAの経路ではtoken_type_idsに基づいて追加のマスクを作成し、画像トークン同士が双方向に参照できるようにする。一方、Flash Attentionの経路ではパディング位置のマスクだけが保持されるため、画像シーケンスに因果制約が適用される。つまり、推論バックエンドを切り替えると、モデルの計算上の意味まで変わる可能性がある。技術分析
報告者はTransformers 5.22.1、H100、BF16を使って小規模なテストモデルを実行し、同じ画像入力に対する2つのバックエンドのlogitsを比較した。最大絶対差は0.1846だった。SDPAへの入力からtoken_type_idsを取り除くと、差は0.0098まで縮小した。この結果はマスク欠落という診断を裏付けるものだが、数値はテストモデルから得られたものであり、実運用モデルの精度低下に直接換算することはできない。再現コードとデータ
Gemma 3のマルチモーダルアーキテクチャは、ビジョンエンコーダーと、ローカルAttention層およびグローバルAttention層を交互に配置した構成を組み合わせている。Transformers公式ドキュメントの画像推論例では、attn_implementation="sdpa"を明示的に使用し、Attentionマスクを可視化するツールも提供している。画像質問応答や文書理解のデプロイでは、これらの例をバックエンドの挙動を比較する基準として利用できる。Gemma 3ドキュメント
エンジニアリング上の直接的な教訓は、高速化バックエンドを評価する際に、速度やメモリ使用量だけでなく、マルチモーダルマスクが完全に保持されているかも確認すべきだということだ。現時点では、まず公式のSDPA例を基準として構築し、実際の画像タスクで比較できる。今後は、メンテナーが明示的なエラーや警告を追加するか、また修正後に回帰テストが行われるかを確認する必要がある。現時点では、モデル全体の品質評価と正式な修正版の情報は不足している。