返回首頁

GitHub Repo

Ollama 社群提出多模態嵌入修補,固定圖片與音訊的模型輸入順序

Ollama 社群於 11 月 11 日提出修補,處理同一筆圖片與音訊嵌入請求可能產生不同媒體排列的問題。作者已提供處理器層級的重現測試,但提案尚未合併,真實模型的向量差異仍待驗證。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 社群於 11 月 11 日提交 PR #19653,指出原生 /api/embed 在同一個輸入物件同時包含 image 與 audio 時,可能把相同內容以不同順序送入模型執行器。提案目前仍開放,尚無審查通過紀錄,不能視為正式版本已修復。修補提案

依作者說明,問題位於 parseMultimodalItem:程式遍歷 Go map 時,直接依遍歷順序附加解碼後的媒體資料,因此可能得到「圖片、音訊」或「音訊、圖片」兩種排列。MLX 嵌入路徑又依這個排列建立媒體片段,使差異進一步成為模型輸入序列的差異。修補方式是先驗證欄位,再固定依圖片、音訊的順序解碼與附加。技術說明

作者以記錄執行器輸入的測試替身,透過實際 EmbedHandler 重複送出請求。測試涵蓋文字、圖片與音訊欄位的六種排列,每種執行 256 次;作者回報,修補前能重現次序錯置,修補後共 1,536 次請求及其他新增案例通過。不過,這些結果驗證的是送往執行器的資料,沒有量測真實模型的嵌入向量。測試範圍

這對檢索系統的意義在於輸入可重現性。Ollama 官方文件將嵌入定位於語意搜尋、向量資料庫與 RAG;若前處理會改變模型看到的序列,工程師比較索引與查詢結果時,就多了一個必須排除的變因。但目前不能據此斷言,既有索引已受損或搜尋品質已下降。嵌入用途

影響範圍也須保守界定:回報針對同一物件混合圖片與音訊的路徑;官方 API 參考目前仍以文字及文字陣列描述輸入,不能推廣為所有嵌入請求皆受影響。採用相關多模態路徑的團隊,接下來應關注維護者審查、版本納入情況,以及固定模型下的向量與檢索實測。API 參考

來源

  1. server: keep multimodal embedding inputs in a stable order — PR #19653
  2. Embeddings
  3. Generate embeddings