ホームへ戻る

GitHub Repo

Transformers、テンソル並列時の勾配累積を修正するパッチを提案、Qwen3の勾配二重加算に対処

11月17日のTransformersへの報告によると、Qwen3でテンソル並列と勾配累積を併用すると、一部の勾配が繰り返し増幅される一方、順伝播の損失はほとんど変化しない可能性がある。同日、追加された勾配を同期する方式に変更するパッチが提案されたが、審査・マージ待ちとなっている。

zh-Hant

Transformersコミュニティは11月17日、訓練の正確性に関する問題を報告した。Qwen3でテンソル並列と勾配累積を併用すると、クエリとキーの正規化重みの勾配が、2回目の逆伝播以降、並列化していない参照モデルから乖離する可能性がある。この報告は開発版5.24.0.dev0を対象とし、CPUプロセス2つ、FP32、Gloo通信バックエンドで検証された。Trainer、DDP、FSDPは使用されておらず、GPU/NCCLでの検証はまだ行われていない。問題報告

問題の鍵は同期のタイミングにある。PyTorchのドキュメントによると、register_post_accumulate_grad_hookは勾配の累積が完了し、パラメーターの.gradが更新された後に実行される。このフックが操作するのはパラメーター自体だ。この時点で勾配バッファー全体をプロセス間で加算すると、すでに同期された寄与分も再び計算に含まれてしまう。PyTorchドキュメント

報告者の分析では、2-wayのテンソル並列で3つのマイクロバッチを累積する場合、勾配は3回分の寄与を合計した値になるはずだが、実際には1つ目のバッチの寄与が4倍、2つ目が2倍となり、3つ目の寄与が加算される。テストでは、対象の勾配における最大相対L2誤差は3回目の逆伝播後に約2.02となった一方、損失の差は約3,000万分の1にとどまった。つまり、順伝播の損失だけを比較しても、累積経路の誤りを見落とす可能性がある。現時点の数値は、報告者が提示したものだ。再現手順と分析

同日提案されたパッチでは、フックをregister_hookに変更し、その時点で渡される勾配を複製して同期してから、自動微分機構による累積に進む。追加されたテストでは、3つのマイクロバッチを累積するたびに、各層のQ/K正規化重みの勾配を比較し、最後の結果だけを検証することを避けている。パッチ差分

確認時点では、プルリクエストはオープンのままで、レビューの結論は出ていない。この訓練経路を使うチームは、同じ初期重みと入力を使って、累積ごとの勾配を比較することが実務上の確認ポイントとなる。今後は上流でのマージ、正式リリースへの反映範囲、GPU通信環境での検証結果を追う必要がある。すべてのQwen3訓練が影響を受けると結論づけることはできない。パッチの状況

出典

  1. Qwen3: tensor-parallel gradient accumulation silently amplifies Q/K norm gradients
  2. Fix tensor-parallel replicated gradient accumulation
  3. Tensor-parallel gradient accumulation patch and regression test
  4. torch.Tensor.register_post_accumulate_grad_hook