最新模型
Tencent、映像と原音を組み合わせて推論する WeMM-Video を公開、導入には推論エンジンの修正が必要
TencentのWeChat視覚チームがWeMM-Videoシリーズを公開。4種類のモデルサイズと複数の量子化済み重みを提供し、音声と映像を組み合わせた理解と中国語・英語での回答に対応する。技術レポートは11月19日に提出されたが、導入には指定の推論環境が必要で、量子化ファイルのサイズをそのままVRAM要件と見なすことはできない。

TencentのWeChat視覚チームは、動画の映像とオリジナル音声を併せて理解処理に取り込むWeMM-Videoを公開した。11月19日に提出された技術レポートでは、2B、4B、9Bの密モデルと、総パラメータ数約350億、アクティブパラメータ数約30億の35B-A3B MoEを紹介している。モデルはテキスト、画像、音声、動画を入力として受け取り、中国語と英語のテキストを出力する。直接回答モードと段階的推論モードを切り替えることもできる。技術レポート
技術的な要点は、視覚エンコーダーと音声エンコーダーでメディアをトークンに変換し、言語モデルに処理させることにある。動画フレームにはタイムスタンプが付与されるため、1回のリクエストで映像内の出来事と会話を組み合わせられる。動画・音声の要約、コンテンツ検索、クロスモーダル質問応答の検証に適している。チームによると、約1.2兆のマルチモーダルトークンで事前学習し、その後、複数教師によるOPD、繰り返しを抑制するMrDPO、特定タスク向けの強化学習を追加した。モデルカード
開発者はBF16、FP8、AWQ、GGUF、NVFP4の各バージョンを利用できるが、形式ごとに実行経路が異なる。公式には、修正を加えたvLLMとSGLang、およびGGUFを処理するネイティブ実行環境が提供されている。サービスインターフェースは/v1/chat/completionsを引き続き使用し、video_url.use_audioでオリジナル音声を読み込むかどうかを指定する。fpsとmax_framesでフレームのサンプリングを制御できる。音声トラックを有効にする前後で品質とコストを比較するには、サンプリング設定を固定しておく必要がある。デプロイ手順
メモリの計画には特に注意が必要だ。35B-A3BのBF16重みは約67.39 GiBで、これに加えてメディア入力と生成キャッシュ用の領域を確保しなければならない。アクティブパラメータ数が30億だからといって、モデル全体のロード要件が小さくなるわけではない。2B AWQのモデルカードにも、記載されたTransformersでのロード方法では圧縮重みがBF16に展開されると明記されている。ダウンロードサイズが小さくても、実行時のVRAM使用量が同じ割合で減るとは限らない。大型モデルカード、AWQの説明
論文は120を超える評価項目で競争力のある結果を得たとしているが、これは公開チームによる評価だ。導入前に自社の中国語・英語の動画を使い、会話認識、映像と音声の対応付け、長尺動画での情報の見落としを再評価し、推論モード、サンプリングレート、レイテンシを記録するのがよい。今後は、独立した再現評価と推論エンジンの上流でのサポートが注目点となる。これらが導入や保守のコストを左右する。評価の概要