ホームへ戻る

GitHub Repo

Ollamaコミュニティがマルチモーダル埋め込みの修正を提案、画像と音声のモデル入力順序を固定

Ollamaコミュニティは11月11日、同じ画像・音声埋め込みリクエストでメディアの順序が変わる可能性がある問題への修正を提案した。投稿者はハンドラーレベルの再現テストを提示したが、提案はまだマージされておらず、実モデルでのベクトル差異も未検証だ。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollamaコミュニティは11月11日、PR #19653を提出し、単一の入力オブジェクトに image と audio の両方が含まれる場合、ネイティブの /api/embed が同じ内容を異なる順序でモデルランナーに渡す可能性があると指摘した。この提案は現在もオープンで、レビュー承認の記録はなく、正式リリースで修正済みとみなすことはできない。修正提案

投稿者の説明によると、問題は parseMultimodalItem にある。プログラムがGoのmapを走査する際、デコードしたメディアデータをその走査順に追加するため、「画像、音声」または「音声、画像」のどちらの並びにもなり得る。MLXの埋め込み経路では、この順序に基づいてメディアセグメントを作成するため、差異がモデル入力シーケンスの違いにつながる。修正案では、まずフィールドを検証し、その後、画像、音声の順にデコードして追加する。技術的な説明

投稿者は、ランナーへの入力を記録するテスト用代替実装を使い、実際の EmbedHandler 経由でリクエストを繰り返し送信した。テストでは、テキスト、画像、音声フィールドの6通りの順列を対象に、それぞれ256回実行した。投稿者によれば、修正前は順序の入れ替わりを再現でき、修正後は合計1,536件のリクエストと追加された他のケースがすべて成功した。ただし、この結果が検証しているのはランナーに渡されるデータであり、実モデルの埋め込みベクトルは測定していない。テスト範囲

検索システムにとっての意味は、入力の再現性にある。Ollamaの公式ドキュメントでは、埋め込みはセマンティック検索、ベクトルデータベース、RAGに用いるものとされている。前処理によってモデルが受け取るシーケンスが変わるなら、インデックスと検索クエリの結果を比較する際に、エンジニアが切り分けるべき要因が一つ増える。ただし、これだけを根拠に、既存のインデックスが損なわれた、あるいは検索品質が低下したと結論づけることはできない。埋め込みの用途

影響範囲も慎重に捉える必要がある。報告の対象は、同じオブジェクト内に画像と音声が混在する経路だ。公式APIリファレンスでは、現在も入力はテキストおよびテキスト配列として説明されており、すべての埋め込みリクエストに影響すると一般化することはできない。該当するマルチモーダル経路を採用しているチームは、今後、メンテナーによるレビュー、リリースへの取り込み状況、固定したモデルでのベクトルおよび検索の実測を確認する必要がある。APIリファレンス

出典

  1. server: keep multimodal embedding inputs in a stable order — PR #19653
  2. Embeddings
  3. Generate embeddings