Transformers、MoEのグループスケーリング読み込みエラーに対処するMXFP8専門家重みの展開修正を提案

TransformersのメンテナーであるArthurZuckerは11月5日、compressed-tensorsとの統合におけるFP8混合専門家モデルの重みの展開方法を修正するPR #50387を提出しました。確認時点で提案はオープンのままであり、主ブランチや正式なパッケージですでに利用できる修正とは見なせません。この変更は量子化重みの読み込み互換性を対象としており、MoEモデルを独自にデプロイするエンジニアリングチームにとって直接的な参考になります。修正提案

作者によると、従来の専門家重みの処理では quant * scale を直接計算していたため、グループスケーリングで問題が発生していました。提案に挙げられた例では、MXFP8は32個の値ごとに1つのスケーリング係数を使用し、その係数はuint8形式のUE8M0として保存されます。この修正では各専門家をcompressorに通し、密層と同じ展開処理を利用するように変更しています。この問題から、ローダーにはFP8重みの識別だけでなく、スケーリングデータの形式とグループ化ルールを正しく解釈することも求められると分かります。作者の説明

検証では、作者は INCModel2/Qwen3-30B-A3B-Instruct-2507-MXFP8-FP8ATTN-CT-AutoRound を例に挙げ、修正前には読み込みエラーが発生し、修正後はBF16の参照値に対するlogitsの相対誤差が0.046だったと報告しています。ただし、ページにはテスト入力の全容、誤差の計算方法、下流タスクの成績が記載されていません。そのため、この数値は作者が示した限定的な検証結果として扱うべきであり、中国語生成の品質や他モデルとの互換性を推定する根拠にはなりません。検証の概要

公式ドキュメントによると、compressed-tensorsは複数の重み精度に加え、tensor、channel、group、block、tokenなどのスケーリング方式をサポートしています。読み込み時には、モデルのデータ型に展開する方法と、対応する経路で量子化重みのまま実行する方法を選択できます。こうした違いがあるため、量子化モデルを調査する際は「FP8」というラベルだけで実行方式を判断せず、量子化設定、読み込みパラメーター、パッケージのバージョンを併せて記録する必要があります。公式ドキュメント

今後は統合テスト、レビュー、マージの結果を追う必要があります。同じ形式を使うチームは、まず小規模な読み込みテストと出力比較のケースを用意し、その後、実際の中国語タスクで検証できます。現時点で公開されている証拠だけでは、すべてのMXFP8 MoEモデルに影響があるとも、この修正によって推論が高速化するとも断定できません。