返回首頁

最新模型

Google 推出 EmbeddingGemma 2,以模組化編碼器支援裝置端多模態檢索

Google 於 10 月 6 日發布 EmbeddingGemma 2,將文字、程式碼、影像、影片與音訊映射到共同向量空間,並以 Apache 2.0 開放權重。模型可按需求載入編碼器,但量化記憶體數據與全精度評測仍須分開解讀。

Gciriani · CC BY-SA 4.0 · Image source
zh-Hant

Google DeepMind 於 10 月 6 日發布 EmbeddingGemma 2,把原本以文字為主的嵌入模型擴展至多模態檢索。新模型基於 Gemma 4,共有 7.4 億參數,以 Apache 2.0 釋出權重,讓文字查詢能直接比對影像、音訊或影片內容,適用於本機媒體搜尋與檢索增強生成(RAG)。官方公告

架構採模組化設計:文字與程式碼部分為 2.7 億參數,視覺編碼器增加 1.7 億,音訊編碼器增加 3 億。各模態經共享骨幹處理後,輸出到相同的 768 維空間。工程上的意義是,純程式碼索引可以省去媒體編碼器;跨模態搜尋則有機會簡化先做圖片描述、語音轉錄,再產生文字向量的串接流程。官方開發指南提供 Sentence Transformers 6.1.0 以上的整合方式。開發指南

向量儲存也能調整。模型支援 Matryoshka Representation Learning,可保留前 512、256 或 128 維,但截短後必須重新做 L2 正規化,查詢與資料庫向量也須使用相同維度。模型卡顯示,程式碼評測在 768 維時為 78.68,縮至 128 維後降至 71.41;六倍向量容量節省因此伴隨品質代價,且不等於整個向量資料庫縮小六倍。模型卡

部署時更要區分評測與執行條件。Google 回報,量化版本在 Pixel 11 Pro 的文字權重活動記憶體約為 191MB,完整多模態版本約為 567MB;模型卡的基準結果則使用全精度檢查點,不能直接視為量化後仍有相同品質。官方另要求一般浮點推論使用 BF16 或 FP32,因 FP16 可能產生 NaN 或悄悄降低嵌入品質。記憶體數據、精度說明

權重已可從 Hugging Face 取得。對中文技術團隊,下一步應在繁體中文文件、程式碼與混合媒體語料上,實測召回率、量化誤差和索引容量;官方多語平均分數不足以代表特定語言與領域的表現。模型權重

來源

  1. EmbeddingGemma 2: an open, lightweight multimodal embedding model
  2. EmbeddingGemma 2: The Developer Guide
  3. EmbeddingGemma 2 model card
  4. google/embeddinggemma-2