代理訓練與深度搜尋
ABSeeker、正解から検索手がかりを逆算し、4BモデルのBrowseCompスコアを55.3%に向上
ABSeekerは、検索エージェントの最終的な成否をステップ単位の報酬に分解し、失敗軌跡に含まれる有効なクエリを保持する一方、成功軌跡内の誤ったステップを抑制する。チームは4Bモデルの重み、推論・訓練パイプラインを公開しているが、最高スコアの達成には依然として追加のコンテキスト管理とLLMジャッジが必要だ。
長時間動作する検索エージェントは通常、最後に「回答が正しいか、誤っているか」という二値報酬しか受け取れない。そのため、一度の誤答によって途中で見つけた有効な証拠まで無効になり、一度の正答によって冗長なクエリや誤った推論までまとめて強化される可能性がある。ABSeekerが提案するAnswer-Backtracked Credit Assignment（ABC）は、まず既知の正解を起点に逆向きに検索し、発見されるべきエンティティ、事実、関係を再構築する。続いてClue-Anchored Step Scoringにより、各ターンで手がかりを発見または検証したか、誤った候補を除外したか、あるいは誤りを持ち込んだかを確認する。
これらのスコアは、2段階の訓練に同時に利用される。ABC-SFTはターン単位のスコアに基づいて教師あり損失を再重み付けし、ABC-GRPOはステップ単位のスコアを強化学習の報酬に変換する。チームはQwen3.5-4Bをベースモデルに採用。SFTにはOpenSeekerの8,500件の軌跡を使用し、そのうち3,000件は失敗記録だった。RLではさらに1,000問を使用し、各問題につき8回のrolloutを実施。1回あたり最大200検索ターンを許可した。公開コードには、ReAct推論、手がかりの復元、ステップ単位のスコアリング、Slime SFT、veRL GRPOの各パイプラインが含まれる。検索とWebページの読み取りには、それぞれSerperとJinaに加え、別途要約モデルを使用する。
コンテキスト管理を追加しない場合、ABSeekerはBrowseComp、BrowseComp-ZH、xbench-2505、xbench-2510、GAIA-textで、それぞれ37.3%、39.1%、77.0%、46.0%、81.6%を記録した。BrowseCompと中国語版では、コンテキスト管理の適用後にそれぞれ55.3%と52.9%へ上昇した。アブレーション実験では、ABC-GRPOが5つのベンチマークすべてにおいて、同じデータを使用した標準GRPOを上回った。
ただし、手がかりとステップのスコア自体は依然としてLLMによって生成されるため、正解の漏洩、ジャッジのバイアス、単一経路を前提とする仮定が報酬に組み込まれる可能性がある。検証セットにもサンプリングが用いられ、最終回答はDeepSeek-V4-Flashによって判定される。今後は、異なる検索エンジン間での再現性、実際のAPIコスト、そして一意に逆算できる正解が存在しないリサーチタスクでも効果が得られるかが注目される。