Google、モジュール式エンコーダーでオンデバイスのマルチモーダル検索を支える「EmbeddingGemma 2」を発表

Google DeepMindは10月6日、テキスト中心だった埋め込みモデルをマルチモーダル検索に拡張する「EmbeddingGemma 2」を発表した。新モデルはGemma 4をベースとし、パラメーター数は7.4億。重みはApache 2.0ライセンスで公開されており、テキストクエリで画像、音声、動画の内容を直接検索できる。本機器上のメディア検索や検索拡張生成（RAG）に利用できる。公式発表

アーキテクチャはモジュール式で、テキストとコード部分が2.7億パラメーター、視覚エンコーダーが1.7億、音声エンコーダーが3億を占める。各モダリティは共有バックボーンで処理され、768次元の共通空間に出力される。実装上、コードだけをインデックス化する場合はメディアエンコーダーを省ける。クロスモーダル検索では、画像説明の生成や音声の文字起こしを先に行い、その後テキスト埋め込みを作るという複数工程を簡素化できる可能性がある。公式開発者ガイドでは、Sentence Transformers 6.1.0以降との統合方法が説明されている。開発者ガイド

ベクトルの保存容量も調整できる。モデルはMatryoshka Representation Learningに対応し、先頭の512、256、または128次元を保持できる。ただし、次元を切り詰めた後はL2正規化を再度行う必要があり、クエリとデータベースのベクトルには同じ次元数を使わなければならない。モデルカードによると、コードの評価スコアは768次元で78.68、128次元に縮小すると71.41となる。ベクトル容量を6分の1にできる一方で品質は低下し、ベクトルデータベース全体の容量が6分の1になることを意味するわけではない。モデルカード

デプロイ時は、評価条件と実行条件を区別する必要がある。Googleの報告では、Pixel 11 Proで量子化版を動作させた場合、テキスト部分の重みのアクティブメモリ使用量は約191MB、完全なマルチモーダル版では約567MBだった。一方、モデルカードのベンチマーク結果は全精度チェックポイントを使用しており、量子化後も同じ品質が得られると解釈することはできない。またGoogleは、通常の浮動小数点推論にはBF16またはFP32を使うよう求めている。FP16ではNaNが発生したり、気づかないうちに埋め込み品質が低下したりする可能性がある。メモリ使用量、精度に関する説明

重みはHugging Faceから入手できる。中国語圏の技術チームが次に行うべきなのは、繁体字中国語の文書、コード、混在メディアのコーパスを使い、再現率、量子化誤差、インデックス容量を実測することだ。公式の多言語平均スコアだけでは、特定の言語やドメインでの性能を判断できない。モデルの重み