代理訓練與檢索
CIPO、検索エビデンスをマスクしてステップ報酬を割り当て、Qwen2.5-7Bの7つのQAタスクにおける平均F1を0.504に向上
CIPOは、最新の検索結果が見える場合と見えない場合のエージェントの行動確率を比較し、外部エビデンスの影響を受けた次のステップを直接評価する。著者らの実験では最強のベースラインを4.7 F1ポイント上回ったが、追加のスコアリングによって訓練コストが増加するうえ、現時点で検証されているのは2種類のQwen2.5モデルのみだ。
検索エージェントは検索ツールを呼び出しても、まずモデルの記憶に頼って答えを推測し、その後で検索結果を確認材料として扱うことがある。最終回答や推論の進捗だけに基づいて報酬を与える方法では、このような「結論ありき」の軌跡を区別できない。8月6日に提出されたCIPO（Contextual Information Policy Optimization）は、代わりにEvidence-Access Log-Likelihood Ratioを用いてターン単位の報酬を割り当てる。各検索後の次の推論または検索アクションについて、エビデンスが見える場合とマスクされた場合の生成確率をそれぞれ計算し、両者の対数尤度差が大きいほど、そのアクションが新たなエビデンスに強く依存していると判断する。
このシグナルには、人手によるプロセスアノテーションや別個の報酬モデルは不要だ。ただし訓練時には、エビデンスをマスクした状態での追加スコアリングが1回必要になる。チームはverlと8基のA100 80GBを使用し、Qwen2.5-3B-InstructおよびQwen2.5-7B-Instructを訓練した。各バッチは32問、各問題につき16軌跡で、インタラクションは最大5ターンとした。7つのQAベンチマークにおいて、7B版のマクロ平均F1は0.504となり、IGPOの0.457を上回った。3B版も、最強の競合手法の0.409から0.456へ向上した。著者らの診断によると、7Bモデルが回答を裏付けるエビデンスを採用した割合は、最終報酬のみを用いた場合の21.9%から60.7%へ上昇し、無関係なエビデンスを使用した割合は11.3%から9.1%へ低下した。
アブレーション実験では限界も明らかになった。「エビデンスへの感度」だけに報酬を与えると、無関係なエビデンスの使用率が28.9%まで上昇するため、回答の正確性と併せて最適化する必要がある。追加スコアリングにより、7Bモデルの1ステップ当たりの訓練時間は417.2秒から436.5秒へ増加したが、推論時の追加コストはない。実用面では、異なるモデル、実際のWeb検索、5ターンを超えるインタラクション、複数ツールを扱うタスクでも結果を再現できるか、引き続き検証が必要だ。また、論文は現時点でCIPO専用のコードリポジトリへのリンクを掲載していない。