GitHub Repo
Transformers、Gemma 3のAttention互換性問題を確認—Flash Attention経路で画像の双方向マスクが失われる
Transformersのプロジェクトメンバーは11月13日、Gemma 3の特定のFlash Attention経路が画像の双方向Attentionを無視し、ユーザーにも警告しないことを確認した。メンテナーは関連するマルチモーダルクラスのサポートマーカーを無効にすることに賛同しているが、正式リリースでの対応時期は未定。

Transformersでは11月13日、マルチモーダル推論の正確性に関する報告が寄せられた。Gemma 3で kernels-community/flash-attn2 を使用すると、画像トークンに本来適用される双方向Attentionが因果Attentionに変わるにもかかわらず、実行時に警告が表示されないという。プロジェクトメンバーは議論の中で、関連するサポートマーカーを無効にすべきとの見解で一致した。確認時点で問題ページはオープンのままであり、正式リリースで修正済みとはまだ言えない。問題とメンテナーの回答
この違いはモデルの計算上の意味に関わる。Googleのアーキテクチャ解説によると、Gemma 3では画像トークン同士が双方向に参照し合い、各位置から同じ画像内のほかの部分を参照できる。一方、生成テキストには因果Attentionが使われる。そのため、画像ブロックにも因果制約を適用すると、後続の画像情報を先行位置から参照できなくなり、本来のAttention設計から逸脱する。Googleのアーキテクチャ解説
報告者はTransformers 5.22.1、H100、BF16を使って小規模なテストモデルを実行し、SDPAと上記のFlash Attention経路を比較した。両者のlogitsの最大絶対差は0.1846だった。SDPAへの入力から token_type_ids を削除すると、差は0.0098に縮小した。これを根拠に報告者は、SDPAではこの入力を通じて画像マスクが構成される一方、Flash経路ではパディングマスクしか保持されないと特定した。これは最小再現テストで得られた数値であり、正式なモデルにおける視覚質問応答の精度低下に換算できる段階ではない。再現コードと数値
デプロイチームにとって、これはAttentionバックエンドを切り替える際に、レイテンシやVRAM使用量だけでなく、画像出力の正確性も検証する必要があることを意味する。Hugging Faceの現行Gemma 3ドキュメントでは、attn_implementation="sdpa" による画像・テキスト生成の例と、Attentionマスクを可視化するツールが紹介されており、比較検証の出発点として利用できる。まずモデル、画像、プロンプトを固定してバックエンドごとの出力を比較し、その後、実際のタスクで評価するとよい。続いてサポートマーカーの変更、回帰テスト、正式リリースノートを追い、対応範囲を確認する必要がある。Gemma 3公式統合ドキュメント