IAR 將文件內化拆成注入、問答對齊與權重合併，平均保住更多通用能力

北京智源人工智能研究院提出 IAR（Inject、Align、Recover），嘗試解決一個與 RAG 不同的問題：文件只在訓練階段出現，推論時模型只收到問題，必須從權重取回相關知識。[論文](https://arxiv.org/abs/2608.20281)指出，直接以文件衍生問答做 SFT 的覆蓋面受限於問題生成器；繼續預訓練雖能讀到全文，卻不一定把知識轉成可用的問答行為，兩者也可能造成災難性遺忘。

IAR 因此把流程拆成三步。Inject 將文件改造成前綴續寫、由摘要或大綱重寫全文，以及指令條件式重建三類目標；Align 再以只計算答案 token 的監督損失建立問答介面；Recover 最後把領域模型與原始 instruction checkpoint 合併，測試 SLERP、task arithmetic、TIES 及 DARE 等既有方法，再按領域準確率與 IFEval、MMLU、MSBench 護欄選擇 checkpoint。

團隊在 Common Corpus 與中文 CCI 上測試 Llama-3.2-3B、Phi-4-mini、Qwen3-4B、SmolLM3-3B。相較一般 SFT，IAR 在八種資料集—模型組合中的七種同時改善四項指標，平均領域問答提高 3.6 個百分點，三項通用測試的平均分提高 12.1 點。控制訓練 token 後，IAR 對 BudgetMatch SFT 的 16 項比較勝出 14 項；不過 CC Llama 仍以 3.9 點領域準確率換取 11 點通用平均分，顯示「恢復」不是免費收益。

工程意義在於，若文件集合穩定、檢索延遲或私隱成本過高，可把知識暴露、回答能力與通用能力分開最佳化，而不是只增加 SFT epoch。[Hugging Face 論文頁](https://huggingface.co/papers/2608.20281)也顯示最佳 Inject 配方隨模型及語料改變。現階段沒有可核查的公開實作；測試集由文件生成，部分正確性以 LLM 裁判評分，且參數化知識更新、來源追溯與頻繁變動語料仍可能比 RAG 困難。下一步應觀察程式與資料切分能否公開，以及第三方能否在更大模型與真實企業文件上重現結果。