GitHub Repo
TensorFlowコミュニティ、FP16の勾配クリッピングでオーバーフローを報告 有限値の入力がゼロまたはNaNになる可能性
11月14日に提出されたTensorFlowの問題報告によると、FP16勾配の中間計算でオーバーフローが発生し、クリッピング結果がゼロになったりNaNになったりする可能性がある。報告には安定版とNightlyでの再現結果が添えられているが、メンテナーによる確認、修正状況、影響範囲の全容はまだ明らかになっていない。

TensorFlowコミュニティで11月14日、数値精度に関する問題が報告された。float16勾配のノルムを直接計算したり、クリッピングを実行したりすると、入力値と期待される結果がどちらもこの形式で表現可能であっても、中間演算でオーバーフローする可能性があるという。報告者によると、この問題は2.21.0と同日付のNightlyで再現し、eager、tf.function、XLAでの比較結果も示されている。これらは現時点では、報告者によるテスト結果だ。問題報告
最小再現例は、各要素が4である4,096要素の勾配ベクトルだ。L2ノルムは256となるはずで、クリッピングしきい値を1に設定すると、各要素は0.015625になるはずだ。しかし報告では、global_normは無限大となり、clip_by_normの出力はゼロ、clip_by_global_normの出力はNaNになった。報告者は、FP16の中間的な二乗和が表現可能範囲を超えることが原因だとしている。一方、FP32での比較では期待どおりの結果が得られた。再現手順と根本原因の分析
公式ドキュメントは、この後の挙動を理解する手がかりになる。グローバルクリッピングは、テンソル全体のノルムに応じて値を比例して縮小する。また、ノルムが無限大の場合、APIはエラーを示すために出力を意図的にNaNにする。そのため調査すべきなのは、有限な勾配からどのように無限大のノルムが算出されたかだ。クリッピング後のNaNだけを見ても、勾配そのものの異常と中間計算のオーバーフローを区別できない可能性がある。APIドキュメント
エンジニアリング上、この報告はカスタム学習ループでクリッピング処理に渡される実際のデータ型を確認し、クリッピング前後の有限値とノルムを併せて監視する必要性を示している。公式の混合精度ガイドによると、mixed_float16では層の計算にFP16、変数にFP32を使い、性能と数値安定性の両立を図る。したがって、モデルで混合精度を有効にしているというだけで、すべての勾配クリッピング経路が影響を受けると判断することはできない。混合精度ガイド
確認時点で、公開されたissueはオープンのままで、メンテナーによる再現確認はまだ見られない。今後は、ノルムの累積計算でより広い型が使われるか、出力型との互換性、CPU・GPU・XLAでの回帰検証に注目したい。正式な修正バージョンはまだ確認されていない。issueの状況