IARは文書の内在化をInject、質問応答Align、重みのマージに分解し、平均してより多くの汎用能力を維持

北京智源人工知能研究院は、IAR（Inject、Align、Recover）を提案し、RAGとは異なる課題の解決を試みている。文書が登場するのは訓練段階のみで、推論時にモデルへ与えられるのは質問だけであり、関連知識を重みから取り出さなければならない。[論文](https://arxiv.org/abs/2608.20281)によると、文書から生成した質問応答を直接使うSFTは、質問生成器によってカバレッジが制限される。継続事前学習では全文を読み込めるものの、その知識が利用可能な質問応答行動へ変換されるとは限らず、いずれの方法も破滅的忘却を引き起こす可能性がある。

そこでIARは、プロセスを3段階に分けている。Injectでは、文書をプレフィックスからの継続生成、要約またはアウトラインからの全文再構成、命令条件付き再構成という3種類の学習目標へ変換する。Alignでは、回答tokenだけに対して計算する教師あり損失を用いて質問応答インターフェースを構築する。最後のRecoverでは、ドメインモデルと元のinstruction checkpointをマージし、SLERP、task arithmetic、TIES、DAREといった既存手法を検証したうえで、ドメイン精度とIFEval、MMLU、MSBenchのガードレールに基づいてcheckpointを選択する。

チームはCommon Corpusと中国語のCCIを用い、Llama-3.2-3B、Phi-4-mini、Qwen3-4B、SmolLM3-3Bを評価した。通常のSFTと比べ、IARは8つのデータセットとモデルの組み合わせのうち7つで4指標すべてを改善し、ドメイン質問応答は平均3.6ポイント、3つの汎用ベンチマークの平均スコアは12.1ポイント向上した。訓練token数を揃えた場合、IARはBudgetMatch SFTとの16項目の比較で14項目に勝った。ただし、CC Llamaでは依然としてドメイン精度3.9ポイントと引き換えに汎用平均スコアを11ポイント得ており、「Recover」が無償の利益ではないことを示している。

工学的な意義は、文書集合が安定しており、検索レイテンシーやプライバシーコストが高すぎる場合に、単にSFTのepoch数を増やすのではなく、知識への接触、回答能力、汎用能力を分離して最適化できる点にある。[Hugging Faceの論文ページ](https://huggingface.co/papers/2608.20281)からも、最適なInjectレシピがモデルやコーパスによって変わることが分かる。現時点では検証可能な公開実装はない。テストセットは文書から生成され、正確性の一部はLLMジャッジによって評価されている。また、パラメータ化された知識の更新、出典追跡、頻繁に変化するコーパスへの対応は、依然としてRAGより難しい可能性がある。今後は、コードとデータ分割が公開されるか、また第三者がより大規模なモデルと実際の企業文書で結果を再現できるかを注視すべきだ。