資訊檢索／RAG
DEPT 固定文件向量再端到端訓練查詢擴展，Qwen3-4B 的 BEIR 平均分升至 42.59
DEPT 讓同一個解碼器同時生成查詢擴展與編碼文件，並以保存損失避免既有向量索引隨微調漂移。五項 BEIR 測試優於分階段基線，但結果仍來自單次實驗及兩款小型模型。
8 月 18 日公開的 DEPT，針對「用同一個 LLM 同時做查詢擴展與向量檢索」的一項實務矛盾：檢索損失雖能改善查詢端，卻也會移動文件向量，使原有索引失效，訓練目標因而不斷變動。
研究以 Qwen3-4B-Instruct-2507、LLaMA-3.2-3B-Instruct 加上 LoRA，先由模型生成擴展文字，再編碼「原查詢＋擴展」，並用 straight-through soft decoding 把檢索梯度傳回生成 logits。文件端則加入 Document Embedding Preservation 損失，約束新向量接近初始快取；固定的 PCA whitening 統一向量幾何，快取索引亦用來在線挖掘困難負樣本。這使查詢行為可以更新，而文件索引保持近似穩定。
在 SciFact、ArguAna、NFCorpus、FiQA、SCIDOCS 五項 BEIR 零樣本檢索中，Qwen 版本的平均 nDCG@10 為 42.59，高於 ExpandR 的 41.09；LLaMA 版本為 39.60，高於同基線的 38.17。短版 DEPT-K 僅生成約九個 token，平均分仍達 41.45 與 38.73。三項資料集消融中，完整模型平均 50.82；移除保存損失降至 46.95，移除 whitening 更降至 42.09。一般生成測試平均分則由基礎模型 77.56 小幅降至 76.28，相較普通對比學習跌至 9.32，顯示保存機制也抑制生成能力崩塌。
對 RAG 工程而言，重點不是一至兩分的排行榜增益，而是微調查詢策略後仍可能沿用既有文件索引。不過目前每項結果只跑一個隨機種子，訓練與評測範圍有限，程式庫也剛公開、尚無獨立重現；建立文件快取、whitening 統計與在線負樣本索引的前置成本，亦須納入大型語料部署評估。