返回首頁

RAG 與檢索系統

GLM-RAG 把知識圖文字送入圖式 Transformer,跨領域多跳檢索優於 GNN 基線

GLM-RAG 讓節點、關係與問題在第一層注意力便共同互動,而非只靠圖距離傳播訊息。它在未見領域的多跳評測取得較佳結果,但單跳任務仍由普通向量 RAG 領先,程式與模型也尚未公開。

Jan Beckendorf · CC BY-SA 2.0 · Image source
zh-Hant

海德堡大學與 Aleph Alpha Research 提出 GLM-RAG,試圖補上兩類知識圖檢索器各自的缺口:向量搜尋懂文字相似度,卻容易漏掉跨文件推理鏈;GNN 能沿圖傳播,但若節點只以零向量初始化,排序往往主要受種子節點距離支配,沒有真正理解節點名稱與關係語義。

GLM-RAG 沿用 GFM-RAG 的知識圖建構、文件排序及答案生成流程,只替換核心檢索器。系統先從問題抽取種子實體,再取得局部子圖,把節點與邊標籤轉成文字 token。底層 T5 的注意力加入圖距離相對位置與結構遮罩,使每條三元組可像句子一樣處理,同時保留跨三元組共享節點的圖連結;問題向量與實體表示從第一層便融合,最後由 scoring head 排出相關節點,再映射回原始文件。

研究以 HotPotQA、2WikiMultihopQA 與 MuSiQue 的 28.2 萬組問題—文件配對微調檢索器,答案生成統一使用 GPT-4o mini;另在 11 個未見資料集測試遷移。跨 Wikipedia 資料集時,GLM-RAG 多數情況的 Recall@2 高於兩種 GNN 版本,例如只用 MuSiQue 訓練、轉測 HotPotQA 時取得 65.7,對照組為 59.4 與 60.3。它也在醫療與電腦科學 G-Bench 多跳任務取得官方所稱的新最佳結果。

對實作者更重要的結論是:Graph RAG 並非全面替代向量索引。七個單跳跨域資料集上,普通向量 RAG 全部領先圖式方法;GNN 也能以較低訓練成本覆蓋更大子圖。GLM-RAG 的優勢集中在需要語義判別的多跳路徑,代價則是局部子圖 token 化、T5 推論與圖建構成本。論文每項實驗只跑一次,部分 G-Bench 評分依賴 LLM 裁判,且程式、模型與資料仍標示為稍後發布;下一步應比較端到端延遲、索引更新成本及真正企業知識圖上的遷移能力。

來源

  1. GLM-RAG: Graph Language Models for Graph-Based Retrieval-Augmented Generation
  2. Heidelberg University computational linguistics colloquium: GLM-RAG