AREX、研究エージェントに未解決の条件を反復検証させ、4Bモデルが圧縮状態で長期探索を維持

北京智源人工知能研究院（BAAI）などのチームは、深層調査エージェントが長時間の検索後に制約条件を見失い、作業を重複させたり、回答を早まって提出したりする問題の解決を目指すAREXを公開した。このシステムは単一エージェントの軌跡を延長するだけではなく、2層のループを交互に実行する。内側のループでは証拠を収集して暫定回答を生成し、外側のループでは問題の制約を一項目ずつ監査する。未検証または相互に矛盾する主張を特定したうえで、対象を絞った検索を再開する。

長期的な処理フローにおける最大の工学的課題は、contextが膨張し続けることだ。そこでAREXはcontext-updateツールを学習し、過去のやり取りを簡潔な「改善状態」へ書き換える。完全な閲覧履歴を繰り返しpromptへ詰め込むのではなく、検証済みの証拠、source間の関係、未解決の条件を保持する。この圧縮器はエージェント自身が学習するため、各ラウンドでより大規模な外部モデルを別途呼び出す必要がない。理論上はtokenコストを削減するとともに、異なるモデル間で状態を変換する際の誤差を回避できる。

訓練プロセスでは、まずプログラムで検証可能な合成研究問題を使用し、その後にagentic mid-trainingとlong-horizon reinforcement learningを実施する。最終回答に対するrewardが過度にsparseになる問題に対処するため、著者らは「決定的な証拠の獲得」や「誤った検索方針の修正」といった重要なステップの学習重みを引き上げた。チームは約4BパラメータのDense版と、総パラメータ数が約122Bで各tokenあたり約10BをactiveにするMoE版を公開し、BrowseComp、WideSearch、DeepSearchQA、HLEなど、検索、推論、tool useを評価するベンチマークで同規模のモデルと比較した。

技術的な意義は、より長いcontextや多数のparallel agentsによって計算資源を積み増すだけではなく、研究エージェントのmemory managementとverification strategyを一体としてモデル訓練に組み込んだ点にある。ただし、論文がいう「recursive self-improvement」は同一タスク内で回答を反復的に改善することを指し、モデルが自らweightsを変更したり、能力を際限なく向上させたりできることを意味しない。また、評価は回答を明確に検証できる問題に偏っている。source qualityの判定、相互に矛盾する文献、paywalled databases、真に新しいhypothesesは依然として対象外だ。今後は、圧縮された状態から反証がひそかに削除されないか、また固定されたsearch budgetの下で外部チームが結果を再現できるかを見極める必要がある。