ホームへ戻る

多模態模型

MiniMax、H3の基盤ウェイトを公開:33Bのシングルストリームモデルで最長15秒のステレオ動画を同期生成

MiniMax H3は、テキスト、画像、動画、音声を単一シーケンスにまとめ、映像と音声のlatentを共同予測し、最大768p、24 FPS、32 kHzステレオで出力する。公式ワークフローでは2Kへの再生成も可能としているが、プロンプトの構造化機能と高解像度モジュールは、依然としてホスト型APIでのみ提供される。

Lucasbosch · CC BY-SA 3.0 · Image source
zh-Hant

MiniMaxは、H3のBF16基盤checkpointを2種類公開した。一方はテキスト、または開始・終了フレームを条件とする生成に、もう一方はマルチモーダル参照を用いた生成に対応する。モデルは最大9枚の画像、3本の動画、3つの音声を入力として受け取り、4~15秒、24 FPS、32 kHzステレオの動画を生成できる。ローカルウェイトの標準出力は、短辺768ピクセルとなる。

H3-Baseはまず、専用encoderとVAEを使って各モダリティを統一シーケンスへ圧縮し、続いて330億パラメータのdense H3-Omni-Transformerが映像と音声のlatentを同時に予測する。テキストおよび視覚理解には、Qwen3-VL-32Bの第50層のhidden stateを利用する。動画VAEは空間方向を16分の1、時間方向を4分の1に圧縮し、音声VAEは各チャンネルを1秒あたり40個のlatent tokenへ変換する。Transformer自体はattentionやFFNにモダリティ専用の分岐を設けておらず、主な差異は入出力層とAdaLNに集約されている。

注意すべきなのは、公式が「完全版H3」と呼ぶものと、現在ダウンロード可能なウェイトは同一ではない点だ。自由形式の素材を解析して構造化プロンプトを生成するH3-Context-IRと、768pの生成結果を元の条件とともに再生成して2K化するH3-Regenerate-2Kは、いずれも引き続きMiniMax APIに依存している。学習時に使用されたsparse attentionもまだ公開されておらず、初期版の推論ではfull attentionしか利用できない。このため、公式のSGLangサンプルでは、sequence parallelismによるデプロイに4基のGPUを必要としている。

エンジニアリングチームにとって、今回の公開は、映像と音声をネイティブに同期生成する珍しいモデルと、再現可能な768pサンプルを提供するものだ。ただし、ローカル版H3-Baseの結果を、公式2K製品と同等の品質と直接見なすことはできない。今後は、sparse attentionの実装と2K再生成モジュールが実際に公開されるか、さらに同一のプロンプトおよびハードウェア条件下で、映像と音声の同期、文字の細部、長回しにおける一貫性をコミュニティが再現できるかを注視する必要がある。

出典

  1. MiniMax H3 model card
  2. MiniMax H3 repository
  3. SGLang documentation