返回首頁

GitHub Repo

Transformers 確認 Gemma 3 注意力相容性問題,Flash Attention 路徑會遺失影像雙向遮罩

Transformers 專案成員於 11 月 13 日確認,Gemma 3 的特定 Flash Attention 路徑會忽略影像雙向注意力,且未提示使用者。維護者支持停用相關多模態類別的支援標記,但正式版本的處理時程仍待確認。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Transformers 於 11 月 13 日收到一項多模態推論正確性回報:Gemma 3 使用 kernels-community/flash-attn2 時,影像 token 原本應保留的雙向注意力會退化為因果注意力,執行過程卻沒有警告。專案成員在討論中認同應關閉相關支援標記。截至查核,問題頁仍為開啟狀態,尚不能宣稱正式版本已修復。問題與維護者回應

這項差異涉及模型的運算語意。Google 的架構說明指出,Gemma 3 讓影像 token 雙向互相參照,使每個位置能讀取同一張影像的其他部分;生成文字則採用因果注意力。因此,若影像區塊也套用因果限制,後面的影像資訊便無法供前面位置讀取,已偏離原本的注意力設計。Google 架構說明

回報以 Transformers 5.22.1、H100 與 BF16 執行小型測試模型,比較 SDPA 和上述 Flash Attention 路徑。兩者 logits 最大絕對差為 0.1846;移除 SDPA 輸入的 token_type_ids 後,差距降至 0.0098。作者據此定位:SDPA 透過這項輸入建立影像遮罩,而 Flash 路徑只保留填補遮罩。這是最小重現的數值結果,尚不足以換算正式模型的視覺問答準確率損失。重現程式與數值

對部署團隊而言,這表示更換注意力後端時,除了量測延遲與顯存,也需要驗證影像輸出的正確性。Hugging Face 現行 Gemma 3 文件以 attn_implementation="sdpa" 示範圖文生成,並提供注意力遮罩視覺化工具,可作為建立對照的起點。工程上可先固定模型、圖片與提示詞,比較後端輸出,再執行實際任務評測;後續則應追蹤支援標記調整、回歸測試及正式發行說明,確認處理範圍。Gemma 3 官方整合文件

來源

  1. Gemma3 under Flash Attention silently drops the bidirectional attention over image tokens
  2. Gemma explained: What’s new in Gemma 3
  3. Transformers documentation: Gemma 3