Transformers、GLM-5.3-Flashの精度修正を提案　mHCの主要パラメータをFP32で保持

Transformersのメンテナーは11月5日、GLM-5.3-Flashの混合精度での読み込み動作を修正するPR #50413を提出した。チェックポイントでFP32として保存されたmHCのbaseとscaleが、BF16での読み込み時にBF16へダウンキャストされる問題に対処する。確認時点で提案はオープンのままで、正式リリースで修正済みとはいえない。修正提案

この問題は、モデルアーキテクチャのManifold-Constrained Hyper-Connectionsに関わる。公式モデルカードによると、GLM-5.3-FlashはmHCを採用し、スパース注意機構と線形注意機構を組み合わせている。モデルファイルには複数のテンソル精度も含まれる。そのため、デプロイ時には全体のdtypeを確認するだけでなく、個々のパラメータが元のチェックポイントの精度設定を保っているかも確認する必要がある。公式モデルカード

報告では、GPUを使わずに小規模モデルで再現する手順が示されている。対象パラメータをFP32で保存してから再読み込みすると、baseとscaleがBF16になったという。報告に記載された環境は、開発版のメインブランチと5.17.0、5.22.1。これは読み込み前後で型が一致しないことを示すが、フルモデルの回答品質やベンチマークスコアへの影響は定量化されていない。再現コードと環境

修正案では、モジュール全体をFP32に固定するのではなく、_keep_in_fp32_modules_strictに注意機構とフィードフォワード接続のbase、scaleを個別に追加する。これにより、チェックポイントでBF16として保存されているfnは、その保存時の精度のまま保たれる。提案者によると、共通の精度テストでこの違いを確認できる。レビューでは、パラメータの型だけでなく、小規模モデルで推論して出力を確認する必要も指摘された。実装とレビューの議論

自社でデプロイやファインチューニングを行うチームにとって、これは混合精度を検証する際の具体的な確認点を示している。読み込み後のパラメータ型を調べ、プロンプト、シード、生成設定を固定して出力を比較するとよい。今後はマージとパッケージへの収録状況を追い、フルモデルで数値への影響を確認する必要がある。現時点の証拠から、修正によって精度が向上すると結論づけることはできず、他の推論フレームワークにも同じ問題があるとは推定できない。