テンセントが WeMM-Embedding を公開：2B モデルがマルチモーダル検索評価で一部の 8B ベースラインを上回る

テンセントの WeChat Vision チームは8月25日、従来は別々に処理する必要があることの多かったテキスト、画像、動画、スキャン文書を同一のベクトル空間にマッピングする WeMM-Embedding を公開した。3つのモデルは Qwen3.5 をベースとし、大規模マルチモーダルアラインメントと精緻化からなる2段階学習を採用している。第2段階では、キュレーション済みデータ、きめ細かな関連性の教師信号、異なるモデルサイズ間の知識移転が追加される。モデルは専用の `<embedding>` token の最終層の状態を取得し、L2 正規化を行う。

もう一つの実用的な設計が Matryoshka Representation だ。9B の完全な出力は4,096次元だが、デプロイ担当者は64、128、256などの指定次元に切り詰め、再正規化したうえで、より小さなベクトルインデックスを構築することもできる。公式レポートによると、2B モデルは MMEB-v2 の78データセットで平均77.9点を獲得し、Qwen3-VL-Embedding 8B の77.8点を上回った。9B は80.6点に達した。2B は256次元でも、画像および動画項目において完全次元時のスコアの98.7%を維持しており、単一モデル内でストレージ使用量とリコール品質を調整できることを示している。

コードでは Transformers、SentenceTransformers、vLLM、SGLang を利用する方法が提供されている。公式には結果を再現するため `transformers==5.2.0` の固定が推奨され、動作確認済みバージョンとして vLLM 0.27.0 と SGLang 0.5.9 のみが挙げられている。これは混合メディア RAG、商品検索、ドキュメントエージェントに有用だ。エンジニアリングチームが、互換性のない複数の embedding 空間を維持する必要がなくなるためである。

ただし、80.6点という結果は著者ら自身が実行した公開ベンチマークによるもので、独立した再現検証はまだ行われていない。論文に記載された14組のオンライン A/B テストと、WeChat 社内の26タスクからなるベンチマークも公開されていない。MMEB-v3 では、非対応の音声タスクは0点として扱われる。また、モデルの読み込み例では `trust_remote_code=True` が使用されているため、本番環境へのデプロイ前には revision を固定し、リモートコードを監査するとともに、ライセンスを項目ごとに確認する必要がある。