Meta、オープンウェイトのMuse Spark Openを公開　816BのマルチモーダルモデルにBF16版とNVFP4版

Metaは10月15日、Muse Spark Openのウェイトを公開した。テキスト、画像、音声、動画の入力を1つのモデルに統合し、出力はテキストとなる。コーディングや長期にわたるエージェントタスクを想定しており、複数ファイルにまたがる変更、ツール呼び出し、エラーからの復旧などに対応する。公式はSGLang、vLLM、Transformers、MLX、llama.cppなどの推論方法もあわせて紹介し、チームがモデルを自らデプロイして調整できるようにした。Metaの発表

Muse Spark Openの総パラメータ数は約816Bで、1トークンあたり約42Bが有効になる。言語モデルは62層で構成され、各MoEブロックには256個のエキスパートがあり、ルーターはその都度8個を選択する。Attentionには128個のクエリヘッドと16個のKVヘッドを採用し、QK正規化も導入している。この設計では1トークンあたりの計算に参加するパラメータ数を抑えられる一方、ほかのエキスパートのウェイトも保存する必要があるため、デプロイに必要な容量を42Bモデル相当と見積もることはできない。公式モデルカード

公開されたバージョンはBF16とNVFP4。Hugging Faceによると、BF16のウェイトファイルは約1.5 TBに及ぶ。また、メモリ512 GBのM3 UltraでoQ3e量子化版をテストしたところ、モデルの使用量は約344 GBだった。入力1,024トークン、生成128トークンの条件では、プロンプト処理が毎秒約225トークン、生成が毎秒約21トークンだった。ローカル実行の具体的な参考値にはなるが、100万トークンのコンテキスト、複数ユーザーの同時利用、またはエージェントの全工程での性能を示すものではない。Hugging Faceのデプロイ方法とテスト

エンジニアリングチームにとって、今回の公開により、自社でホストできるマルチモーダル・エージェントモデルの選択肢が増えた。また、スクリーンショットの分析、コードの変更、ツールの実行を1つのモデルで行える可能性もある。評価時にはウェイト、KVキャッシュ、実行時バッファーのメモリ量を分けて計算し、量子化後のツール呼び出し成功率と長期タスクの完了率を測定する必要がある。公式モデルカードに記載されたデフォルトの推論強度はxhighであり、レイテンシーと出力トークンのコストも比較に含めたい。中国語のコードコメントや文書の理解、繁体字中国語の指示への追従については、別途実測が必要だ。モデルの設定と制約

ライセンスはMuse Model Licenseで、利用条件と一部の商用利用条件が定められている。導入前に、自社サービスの形態が条件に合うか確認したい。今後は、各推論フレームワークでの安定版対応に加え、ハードウェア、量子化精度、コンテキスト長を変えた際に再現可能なテスト結果がどう示されるかが注目される。Metaのライセンス説明