ホームへ戻る

GitHub Repo

PyTorchコミュニティがB300で注意機構の勾配異常を報告、cuDNNで特定の短系列にNaNが発生する可能性

10月9日のPyTorchコミュニティからの報告によると、B300で特定の短系列とブールマスクを組み合わせると、cuDNNの注意機構の逆伝播でNaNが発生する可能性がある一方、順伝播の出力は正常なままだという。メンテナーは新しいcuDNNでは再現しなかったとし、nightlyまたは2.15候補版でのテストを勧めているが、報告者の環境ではアップグレード後の検証がまだ行われていない。

Pytorch Deepdream (https://github.com/gordicaleksa/pytorch-deepdream) by gordicaleksa (https://github.com/gordicaleksa/pytorch-deepdream/commits?author=gordicaleksa) · MIT · Image source
zh-Hant

PyTorchコミュニティは10月9日、最小再現コードを添えた学習の正確性に関する報告を提出した。NVIDIA B300、PyTorch 2.14.1+cu130、cuDNN 9.24の組み合わせで、スケールド・ドット積アテンション(SDPA)にbfloat16を使い、各アテンションヘッドの次元を256として明示的なブール型の因果マスクを渡すと、一部の短系列でクエリテンソルの勾配にNaNが発生する。順伝播の結果とキー、バリューの勾配は有限値のままのため、損失だけを監視するワークフローでは異常の発見が遅れる可能性がある。コミュニティの報告と再現コード

報告によると、系列長が102の場合、cuDNNバックエンドでは異常が発生したが、メモリ効率バックエンドと数学バックエンドでは正常だった。ヘッド次元を128に変更するか、マスクテンソルを取り除いてis_causal=Trueを使った場合も再現しなかった。これらの比較から発生条件は絞り込まれるが、すべてのBlackwell GPUやすべての短系列が影響を受けると判断するには不十分だ。テスト結果

技術的なポイントはバックエンドの選択にある。公式ドキュメントによると、SDPAは入力に応じて実装を自動選択し、エンジニアはsdpa_kernel()を使ってバックエンドを制御できる。数学バックエンドは半精度入力を処理する際、floatの中間結果を保持する。そのため、学習異常を調査するときは、各バックエンドで勾配が有限値かを比較し、マスク、データ型、テンソルのサイズを記録するとよい。SDPAドキュメント

一時的な回避策は、torch.backends.cuda.enable_cudnn_sdp(False)を呼び出してcuDNNのSDPA経路を無効にすることだ。このスイッチは公式ドキュメントに記載されているが、現在もbeta扱いとなっている。切り替え後の速度、メモリ要件、モデルとの互換性は、実際のワークロードで測定する必要がある。バックエンド設定ドキュメント

修正については、上流で9月にcuDNN 9.26へアップグレードし、一部の旧バージョンで失敗する条件に対する保護を追加する変更がマージされている。今回の報告でメンテナーは、より新しいバージョンでは再現しなかったと述べ、nightlyまたは2.15候補版でのテストを求めた。これは検証の手がかりにはなるが、報告者の環境で修正済みと確認されたことを意味しない。学習チームは、アップグレードの前後で同じ再現ケースを実行し、正常な順伝播の損失だけで学習の健全性を判断せず、オプティマイザーの更新前に勾配を確認するべきだ。関連する修正、メンテナーの返信

出典

  1. Issue #197811: torch.compile silently reuses a graph when closures capture different Tensor method descriptors
  2. PR #197845: Guard on captured method/wrapper descriptors
  3. torch.compile — PyTorch 2.14 documentation
  4. B300 上 cuDNN SDPA 反向傳播 NaN 回報與維護者回覆
  5. PyTorch SDPA API 文件
  6. PyTorch 後端設定文件
  7. 升級 cuDNN 9.26 並加入舊版本防護的修補