返回首頁

GitHub Repo

TensorFlow 社群回報 FP16 梯度裁剪溢位,有限輸入可能被歸零或轉成 NaN

11 月 14 日提交的 TensorFlow 問題回報指出,FP16 梯度的中間計算可能溢位,使裁剪結果歸零或出現 NaN。回報附穩定版與 Nightly 的重現結果,但維護者確認、修補狀態及完整影響範圍仍待釐清。

Max Eddy · CC BY-SA 4.0 · Image source
zh-Hant

TensorFlow 社群於 11 月 14 日提交數值正確性問題:直接對 float16 梯度計算範數或執行裁剪時,即使輸入與預期結果都能以該格式表示,中間運算仍可能溢位。回報者表示,問題可在 2.21.0 與當日 Nightly 重現,並提供 eager、tf.function、XLA 的對照結果;這些目前仍屬提交者的測試證據。問題回報

最小案例是一個含 4,096 個元素、每項皆為 4 的梯度向量。其 L2 範數應為 256,裁剪門檻設為 1 後,每項應為 0.015625;但回報中的 global_norm 得到無限大,clip_by_norm 輸出零,clip_by_global_norm 則輸出 NaN。提交者將原因指向 FP16 中間平方和超出可表示範圍,FP32 對照則得到預期答案。重現與根因分析

官方文件提供了理解後續行為的關鍵:全域裁剪會依整組張量的範數等比例縮小數值,而當範數為無限大時,API 會刻意將輸出設為 NaN,以表示錯誤。因此,本案要追查的是有限梯度如何先被算成無限範數;單看裁剪後的 NaN,可能無法分辨原始梯度異常與中間計算溢位。API 文件

工程上,這提示自訂訓練迴圈應檢查裁剪入口的實際資料型別,並同時觀察裁剪前後的有限值與範數。官方混合精度指南指出,mixed_float16 讓層使用 FP16 計算、FP32 變數,以兼顧效能與數值穩定性;因此,不能只憑模型啟用混合精度,就推定所有梯度裁剪路徑都受影響。混合精度指南

截至查核,公開議題仍開放,尚未見維護者的重現確認。後續應關注範數累加是否改用較寬型別、輸出型別相容性,以及 CPU、GPU 與 XLA 的回歸驗證;正式修補版本仍待確認。議題狀態

來源

  1. tf.float16 gradient clipping overflows on finite inputs, silently zeroing gradients or producing NaNs
  2. tf.clip_by_global_norm
  3. Mixed precision