Transformersが統一量子化アーキテクチャ案を提出、MXFP4への移行で旧GPUのロード動作が変わる可能性

Hugging Face TransformersのメンテナーであるIlyasMoutawwakilは10月20日、FP8、MXFP4、NVFP4、MXFP8でロードと演算の基盤を共通化する量子化リファクタリング案を提出しました。中心となる提案は現在もDraftであり、それ自体はどの形式も登録しません。したがって、新機能がすでに提供されたものと見なすことはできません。共通アーキテクチャ案

アーキテクチャの要点は、BlockScaledConfigとBlockScaledQuantizerでブロックスケーリング形式を統一し、FineGrainedConfigのdtype_planでモジュール名のパターンに応じて形式を指定することです。この提案では、MoEのエキスパート重みとスケール値の配置も扱います。カーネルごとに必要なレイアウトが異なる場合は切り替え時にエラーを返し、重みが誤った順序で対応付けられるのを防ぎます。混合精度モデルを管理するエンジニアにとって、ロード規則を一元的に記述する方向性を示すものです。アーキテクチャとレイアウト設計

依存するMXFP4の案では、W4A16、W4A8、W4A4をサポートし、GPT-OSSとModelOptのチェックポイントを共通の処理経路に取り込む計画です。ここでWとAは、それぞれ重みとアクティベーションの精度を表します。ただし案では、カーネルがTritonのFP8型を使うため、すべてのMXFP4形式でGPU演算能力8.9以上を必須としています。GPT-OSSはA100とT4ではBF16に逆量子化され、CPUでも逆量子化の経路を使うようになります。MXFP4移行案

この互換性の変更は、早めに追跡しておく価値があります。現行の公式ドキュメントでは、MXFP4の要件は演算能力7.5以上とされ、対応環境では量子化カーネルが自動的にダウンロードされて使用されると説明されています。そのため、案どおりにマージされれば、一部の既存デプロイメントでメモリ要件や性能が変わる可能性があります。これは実行時の精度変更に基づく推論であり、この案の実測データによる影響の定量化はまだありません。現行のMXFP4ドキュメント

エンジニアリングチームは今後、ハードウェアへのフォールバック規則が変更されるか、各形式の提案がいつマージされるか、正式版でどのような移行ガイドが提供されるかを追う必要があります。評価では、チェックポイントに記載された4ビット形式だけで実行コストを判断せず、ロード後の精度、ピークメモリ、生成速度も確認してください。