Transformers 5.22.0がMistral Large 4に対応、FP8重みの微調整機能を追加

Hugging Faceは10月29日、Transformers 5.22.0を公開した。主な追加機能は、Mistral Large 4（Le Chonk）への対応で、モデル重みの公開と同時に提供された。Transformersを使うチームは、モデルの読み込み、画像入力の処理、その後の微調整に正式リリースを利用できる。Mistralが今月初めに提供したのはAPIのパブリックプレビューだったが、今回はダウンロードして自前でデプロイできる。リリースノート、重みの公開告知

Large 4はテキストと画像を入力として受け取り、テキストを出力し、100万トークンのコンテキストに対応する。総パラメータ数は約1兆で、各トークンの処理で有効になるのは約490億パラメータ。埋め込み層と出力層を含めると520億パラメータとなる。MoEでは各層で128個のルーティング専門家から4つを選び、さらに共有専門家を1つ使う。スパースな有効化によって各ステップの計算量は減るが、エンジニアリング上は完全な重みと実行状態を保持するためのメモリを見積もる必要があり、有効化されるパラメータ数だけを基準にハードウェアを決めることはできない。リリースノート

アテンションには、圧縮されたKV表現を使うMLAとスパースな位置選択機構を組み合わせており、各クエリで選択するキー位置は最大2,048個。Hugging FaceはFP8およびNVFP4でのデプロイ手順も公開している。NVFP4の実行経路にはNVIDIA Blackwell GPUが必要だ。なお、公式が紹介する8基のH200を使ったデプロイ構成で設定されているコンテキスト長は約131Kであり、同じハードウェアで100万トークンを処理できることを直接実証したものではない。技術・デプロイ解説

同版のもう一つの主要な変更は、FP8量子化済みの重みをLoRAなどのアダプター学習に使えるようになったことだ。密な行列積とグループ化されたFP8行列積の逆伝播が追加された。リリースノートによると、記載された8Kトークンの条件では、ブロック単位の逆量子化によってMoE層の逆伝播時のピークメモリが約28.9 GiBから2.8 GiBに減少した。これは局所的な演算の結果であり、学習全体に必要なGPUメモリ量を示すものではない。量子化関連の更新

導入時には推論モードも確認したい。low、medium、highを選択でき、デフォルトはhigh。noneを設定した場合もhighが使われる。チームは中国語タスクでの品質、出力トークン数、レイテンシを測定したうえで、サービス構成を決めるべきだ。ライセンス上、変更や微調整は認められているが、モデル・アズ・ア・サービス事業を行うには別途商用ライセンスが必要となる。重みが公開されていても、あらゆるホスティング用途が無条件に許可されるわけではない。推論設定、ライセンスの説明