MiniMax、全層疎注意機構とDSpark投機的デコードを統合したM3.1-Flashの重みを公開

MiniMaxは10月23日、Hugging FaceにM3.1-Flashの公式重みリポジトリを作成し、このマルチモーダルモデルをセルフホストできる段階に移した。モデルの総パラメータ数は約4,280億で、トークンごとに約230億パラメータが有効になる。テキスト、画像、動画を入力として受け付け、テキストを出力する。公式情報では、コンテキスト長は最大100万トークンとされている。重みの公開履歴、モデルカード

M3と比べて、新版では先頭3層のフルアテンションを疎注意機構に置き換え、MSAを全層に適用した。ルーティングされるエキスパートと注意経路には量子化対応学習を採用し、従来のEAGLEに似たマルチトークン予測方式に代えてDSparkを導入した。公開内容にはドラフトヘッドが含まれるが、実際に高速化できるかは、サービングフレームワークとハードウェアのサポートに左右される。技術変更の説明

vLLMのデプロイレシピによると、重みは密な層にMXFP8、エキスパートにNVFP4を使用して保存される。BlackwellではNVFP4エキスパートをネイティブに実行できる一方、H100／H200ではMarlinカーネルを使用する。Hopperの例は8 GPU構成で、FP8キャッシュと262,144トークンの上限を採用し、動画入力を無効にしている。また、DSparkも有効化していない。こうした差があるため、エンジニアリングチームはモデルカードに記載された上限を、そのまま現在のクラスターで提供できるサービス仕様とみなすべきではない。vLLMデプロイレシピ

エージェントとの統合にも明確な要件がある。SGLangの文書では、構造化されたtool_callsを取得するために、minimax-m3ツールパーサーを指定している。推論モードは、オン、オフ、自動適応から選択できる。デプロイの受け入れ検証では、ツール引数、推論内容、回答の振り分けを確認し、長いコンテキストでのレイテンシとメモリ使用量も測定する必要がある。SGLang文書

ライセンスも採用判断に影響する。コミュニティライセンスでは、商用製品にモデル名を表示することが求められる。関連製品・サービスの年間売上高が2,000万ドルを超える場合は、事前に書面での許諾を得る必要があり、それ以外の商用利用では一度通知を送付する必要がある。今後は、各ハードウェア構成が独立して再現されるか、またサードパーティによる量子化が公式重みのタスク性能を維持できるかが注目点となる。ライセンス条項