返回首頁

GitHub Repo

Transformers 回報 Gemma 3 注意力相容性缺陷,Flash Attention 可能靜默改變圖片處理

Transformers 社群於 11 月 13 日回報,Gemma 3 使用特定 Flash Attention 後端時,圖片 token 的雙向注意力會被丟棄。議題附有最小重現與輸出差異,但完整模型的品質影響及修補版本仍待確認。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Transformers 社群於 11 月 13 日新增 Gemma 3 相容性議題:使用 kernels-community/flash-attn2 後端時,圖片 token 原有的雙向注意力可能被靜默改成因果注意力。程式仍會產生輸出,使用者卻不會收到警告。截至查核時,議題仍開放,尚未連結修補提案。議題原文

這項差異涉及模型能讀取哪些位置的資訊。依回報分析,SDPA 路徑會根據 token_type_ids 建立額外遮罩,讓圖片 token 彼此雙向關注;Flash Attention 路徑則只保留填補位置的遮罩,使圖片序列受到因果限制。換言之,切換推論後端可能連帶改變模型的計算語意。技術分析

回報者以 Transformers 5.22.1、H100 與 BF16 執行小型測試模型,比較相同圖片輸入在兩種後端的 logits。最大絕對差為 0.1846;若先移除 SDPA 輸入的 token_type_ids,差距縮至 0.0098。這支持遮罩遺失的診斷,但數值來自測試模型,不能直接換算成正式模型的準確率下降。重現程式與數據

Gemma 3 的多模態架構結合視覺編碼器,以及交替配置的局部與全域注意力層。官方 Transformers 文件的圖片推論範例明確使用 attn_implementation="sdpa",並提供注意力遮罩視覺化工具。對圖片問答與文件理解部署而言,這些範例可作為比對後端行為的基準。Gemma 3 文件

工程上的直接啟示是:評估加速後端時,除了速度與記憶體,也應檢查多模態遮罩是否完整保留。現階段可先依官方 SDPA 範例建立基準,再比較實際圖片任務。後續須觀察維護者是否加入明確錯誤或警告,以及修補後的回歸測試;目前仍缺乏完整模型的品質評測與正式修復版本資訊。

來源

  1. Gemma3 under Flash Attention silently drops the bidirectional attention over image tokens — Issue #50710
  2. Gemma 3 — Transformers documentation