GitHub Repo
Transformers 社群回報 Qwen4-Exp 注意力異常，左側補齊批次可能產生 NaN
10 月 23 日的 Transformers 社群回報指出，Qwen4-Exp 使用 eager 注意力處理左側補齊批次時，有效 token 的輸出可能出現 NaN。小型 CPU 測試中，SDPA 路徑未出現相同問題，但正式權重與 GPU 的影響仍待驗證。
Transformers 的一則新技術回報，指出 Qwen4-Exp 在特定注意力後端存在數值污染風險。回報者於 10 月 23 日提供重現程式：同一批次包含左側補齊與未補齊的序列時，設定 attn_implementation="eager"，前者有效位置的 logits 出現 NaN，後者仍正常；相同權重與輸入改用 SDPA，則維持有限值。問題回報
這個條件與官方建議有直接交集。Qwen4-Exp 文件要求批次生成採左側補齊，並列出 eager 與 SDPA 支援。其架構結合 Qwen Sparse Attention（QSA）與 GatedDeltaNet：前者選取相關 token 區塊，後者處理線性注意力。因此，遮罩位置的異常能否被後續層隔離，是實作上的重要邊界。官方架構與使用文件
依回報者追蹤，QSA 選取遮罩與因果／補齊遮罩相加時，兩個最小有限浮點值可能溢位為負無限大。若補齊位置整列沒有可見鍵值，softmax 便產生 NaN；後續 GatedDeltaNet 即使乘上零遮罩，也無法消除 NaN，並可能將異常傳至有效位置。這是回報者提出的根因分析，尚待維護者確認。分析與重現程式
測試使用 Transformers 5.19.0、CPU、FP32 與隨機初始化的小型模型，未載入預訓練權重。回報者提出以覆寫受阻位置取代遮罩相加的修補構想，局部測試恢復有限輸出，但尚不能視為正式修復。測試範圍與修補構想
對工程團隊而言，這份回報提示應把不同長度批次、有效位置的有限值檢查，以及注意力後端比較納入驗證。SDPA 可作為目前的比較基準；是否適用實際部署，仍須用既有權重、精度與硬體重測。後續應追蹤維護者確認、回歸測試及修復版本，不能將這項結果擴大解讀為所有 Qwen4-Exp 推論路徑均失效。