Perplexity、マルチモーダル検索モデル「pplx-embed-v2-late」を公開　小型モデルで大型モデルが作成したインデックスを検索可能に

Perplexityは10月7日、pplx-embed-v2-late-0.6bとpplx-embed-v2-late-9bを発表した。重みはHugging Faceで公開され、ライセンスはMIT。今回のリリースの中核はマルチモーダル検索だ。テキストクエリでテキスト、画像、視覚的な文書を検索でき、2つのモデルサイズは埋め込み空間を共有する。公式発表

モデルはQwen3.5をベースとし、双方向アテンションを使用する。各トークンについて128次元のベクトルを生成し、MaxSimでクエリと文書の類似度を計算する。このColBERT式のlate interactionはトークン単位の表現を保持するため、検索システムでは複数ベクトルのデータを扱う必要がある。共有空間により、9Bモデルで文書を事前エンコードし、0.6Bモデルでオンラインクエリを処理できる。エンジニアリング面で期待される利点は、文書のエンコードとクエリ処理に必要な計算資源を分けて評価できることだ。9Bモデルカード

公開元が示したPublic ViDoRe v3の評価では、画像検索のnDCG@10はそれぞれ62.3%と65.2%、Markdown検索では61.2%と64.7%だった。これらの数値が示すのは、指定されたベンチマークにおける2モデルの差だ。中国語の企業文書での性能を推定するには不十分であり、小型モデルで大型モデルのインデックスを検索した場合の品質やレイテンシを直接証明するものでもない。0.6Bモデルカード

デプロイでは、公式サンプルはSentence TransformersのMultiVectorEncoderを使用し、sentence-transformers >= 6.0.0とtransformers >= 5.4.0を必要とする。テキストと画像は別々にバッチエンコードする必要があり、混在入力には対応しない。PyLateに接続する場合は、クエリと文書のマーカー位置も確認が必要だ。日本語のRAGチームは、表やスキャンページ、日本語と英語が混在するデータを使って、モデルサイズをまたぐ検索品質、インデックス容量、エンドツーエンドのレイテンシを実測し、共有埋め込み空間が実用的なコスト優位性をもたらすか判断するとよい。デプロイ手順