資訊檢索／RAG
DEPT、文書ベクトルを固定したままクエリ拡張をエンドツーエンドで学習、Qwen3-4BのBEIR平均スコアが42.59に上昇
DEPTは、同一のデコーダーでクエリ拡張の生成と文書のエンコードを同時に行い、保存損失によって既存のベクトルインデックスがファインチューニングに伴ってドリフトするのを防ぐ。5つのBEIR評価で段階的なベースラインを上回ったが、結果は依然として1回の実験と2つの小型モデルに基づく。
8月18日に公開されたDEPTは、「同一のLLMでクエリ拡張とベクトル検索を同時に行う」際の実務上の矛盾に取り組む。検索損失はクエリ側を改善できる一方、文書ベクトルも移動させて既存のインデックスを無効にするため、学習目標が絶えず変動してしまう。
研究では、Qwen3-4B-Instruct-2507とLLaMA-3.2-3B-InstructにLoRAを適用。まずモデルが拡張テキストを生成し、続いて「元のクエリ＋拡張」をエンコードする。straight-through soft decodingを用いて、検索勾配を生成logitsまで逆伝播させる。文書側にはDocument Embedding Preservation損失を加え、新しいベクトルが初期キャッシュに近い状態を保つよう制約する。さらに、固定したPCA whiteningによってベクトル幾何を統一し、キャッシュ済みインデックスをオンラインのhard negative miningにも利用する。これにより、クエリの挙動を更新しながら、文書インデックスをほぼ安定した状態に維持できる。
SciFact、ArguAna、NFCorpus、FiQA、SCIDOCSという5つのBEIRゼロショット検索タスクでは、Qwen版の平均nDCG@10が42.59となり、ExpandRの41.09を上回った。LLaMA版は39.60で、同じベースラインの38.17を上回った。短縮版のDEPT-Kは約9 tokenしか生成しないが、平均スコアはそれぞれ41.45と38.73に達した。3つのデータセットを用いたアブレーションでは、完全なモデルの平均は50.82だった。保存損失を除くと46.95に低下し、whiteningを除くとさらに42.09まで低下した。一方、汎用生成評価の平均スコアはベースモデルの77.56から76.28への小幅な低下にとどまった。通常のcontrastive learningでは9.32まで落ち込んでおり、保存機構が生成能力の崩壊も抑えていることを示している。
RAGエンジニアリングにとって重要なのは、ランキングで1～2ポイント向上することではなく、クエリ戦略をファインチューニングした後も既存の文書インデックスを引き続き利用できる可能性がある点だ。ただし現時点では、各結果は単一のrandom seedによる1回の実行に限られ、学習・評価範囲も限定的である。ライブラリも公開されたばかりで、独立した再現結果はまだない。文書キャッシュ、whitening統計、オンライン負例インデックスを構築する初期コストについても、大規模コーパスへのデプロイ評価に含める必要がある。