GitHub Repo
Transformers 提出張量平行梯度累積修補,處理 Qwen3 梯度重複加總
11 月 17 日的 Transformers 回報指出,Qwen3 同時使用張量平行與梯度累積時,部分梯度可能被反覆放大,前向損失卻幾乎不變。同日提出的修補改為同步每次新增的梯度,目前仍待審查與合併。
Transformers 社群於 11 月 17 日提出一項訓練正確性問題:Qwen3 使用張量平行與梯度累積時,查詢與鍵的正規化權重梯度,可能從第二次反向傳播起偏離非平行參考模型。回報針對 5.24.0.dev0 開發版,採兩個 CPU 程序、FP32 與 Gloo 通訊後端,未使用 Trainer、DDP 或 FSDP;GPU/NCCL 尚未測試。問題回報
關鍵在於同步發生的時機。PyTorch 文件說明,register_post_accumulate_grad_hook 會在梯度累積完成、參數的 .grad 更新後執行,操作對象是參數本身。若此時對整個梯度緩衝區做跨程序加總,先前已同步的貢獻也會再次參與運算。PyTorch 文件
依回報者分析,兩路張量平行累積三個微批次時,預期梯度是三次貢獻相加,實際卻成為第一批乘四、第二批乘二,再加第三批。測試中,相關梯度的最大相對 L2 誤差在第三次反向傳播後約為 2.02,對應損失差異卻僅約三千萬分之一的量級。這意味著只比較前向損失,可能漏掉累積路徑的錯誤;目前數據仍來自提交者。重現與分析
同日提出的修補將掛鉤改為 register_hook,先複製並同步當次傳入的梯度,再交由自動微分機制累積。新增測試逐次比較三個微批次後,各層 Q/K 正規化權重的梯度,避免只驗證最後一次結果。修補差異
截至查核時,拉取請求仍開放、尚無審查結論。對使用這條訓練路徑的團隊,實務上的查核重點是以相同初始權重與輸入,比較逐次累積梯度;後續則應追蹤上游合併、正式版本涵蓋範圍,以及 GPU 通訊環境的驗證結果,不能直接推論所有 Qwen3 訓練均受影響。修補狀態