GitHub Repo
PyTorch 社群回報 B300 注意力梯度異常,cuDNN 特定短序列可能產生 NaN
10 月 9 日的 PyTorch 社群回報指出,B300 上特定短序列與布林遮罩組合,可能讓 cuDNN 注意力反向傳播產生 NaN,前向輸出卻仍正常。維護者表示較新 cuDNN 未重現,建議測試 nightly 或 2.15 候選版,但回報者的環境仍待升級驗證。

PyTorch 社群於 10 月 9 日提交具最小重現程式的訓練正確性回報:在 NVIDIA B300、PyTorch 2.14.1+cu130 與 cuDNN 9.24 組合下,縮放點積注意力(SDPA)使用 bfloat16、每個注意力頭維度 256,並傳入明確的布林因果遮罩時,部分短序列的查詢張量梯度會出現 NaN。前向結果及鍵、值梯度仍為有限數值,讓只監看損失的流程可能延後發現異常。社群回報與重現程式
案例顯示,序列長度 102 時,cuDNN 後端產生異常,記憶體效率後端與數學後端則正常;改為頭維度 128,或移除遮罩張量、使用 is_causal=True,也未重現。這些對照縮小了觸發條件,但尚不足以判定所有 Blackwell GPU 或所有短序列皆受影響。測試結果
技術上的關鍵在於後端選擇。官方文件說明,SDPA 會依輸入自動挑選實作,工程師也能透過 sdpa_kernel() 控制後端;數學後端處理半精度輸入時,會保留 float 中間結果。因此,排查訓練異常時,應比較不同後端的梯度有限性,並記錄遮罩、資料型別與張量尺寸。SDPA 文件
暫時迴避方式是呼叫 torch.backends.cuda.enable_cudnn_sdp(False),關閉 cuDNN 的 SDPA 路徑。此開關有官方文件,但仍標為 beta;切換後的速度、記憶體需求及模型相容性須以實際工作負載量測。後端設定文件
修復方面,上游已於 9 月合併升級 cuDNN 9.26、並為部分舊版本失敗條件加入防護的變更。維護者在此次回報中表示較新版本未重現,要求測試 nightly 或 2.15 候選版。這提供了驗證方向,尚不能視為回報環境已確認修復。對訓練團隊而言,下一步應在升級前後跑相同重現案例,並於最佳化器更新前檢查梯度,避免只用正常的前向損失判斷訓練健康。相關修補、維護者回覆
來源
- Issue #197811: torch.compile silently reuses a graph when closures capture different Tensor method descriptors
- PR #197845: Guard on captured method/wrapper descriptors
- torch.compile — PyTorch 2.14 documentation
- B300 上 cuDNN SDPA 反向傳播 NaN 回報與維護者回覆
- PyTorch SDPA API 文件
- PyTorch 後端設定文件
- 升級 cuDNN 9.26 並加入舊版本防護的修補