ホームへ戻る

AI 研究

Seer、小型リサーチエージェントに検索結果を先にシミュレートさせ、次の行動を決める

著者らによると、4BエージェントのGAIA正答率は13.6%から41.7%に上昇した。ただし、システムには共有の9B補助モデルも必要で、実際のコスト削減や高速化はハードウェア上の測定で裏付けられていない。

zh-Hant

小型のリサーチエージェントは、複数の検索方針を比べる際、それぞれの経路で得られそうな結果を先に予測し、実際に実行する経路を選べる。Seerはこの発想を研究フレームワークとして実装したものだ。選ばれなかった候補ではツールを実際に呼び出さずに済む一方、モデル推論のコストが増える。四川大学などの研究機関の研究者は11月19日にプレプリントを提出した。現時点で確認できるのは著者らの実験結果であり、一般的なコンピューターへの導入でコストや速度が改善すると結論づけることはできない。論文と投稿記録

予測で経路を選び、証拠には実際の応答だけを使う

Seerには3つの役割がある。エージェントが候補となる行動を提案し、「ツール応答シミュレーター」が検索やウェブページ閲覧で得られそうな内容を予測する。そして「価値推定器」が、その内容を加えた場合にタスクを成功できる可能性を評価する。2つの補助モデルは実際のツールとのやり取りのデータで学習され、その後、複数のエージェント間で再利用されるため、エージェントごとに再学習する必要はない。

評価時のシミュレーションは1ステップ先までだ。行動を選んだ後に初めて、システムは実際のツール結果を取得し、その実際の応答だけを後続の履歴に加える。シミュレーション内容は経路選択に影響するが、引用の根拠としてそのまま残されることはない。手法と実験設定

回答精度の向上にはシミュレーション誤差が伴う

GAIAは、推論、ウェブ閲覧、ツール利用の能力を試す質問応答ベンチマークだ。GAIAの原論文 Seerの著者らは、Qwen3.5-4Bの正答率がベースラインエージェントの13.6%から41.7%へ上昇し、28.1ポイント改善したと報告している。後者は比較のたびに32個の候補を評価する。比較では同じエージェントとツールを使用し、各経路の実行は最大100ターン、入力上限は128kトークン、制限時間は9,000秒だった。これは著者らが報告した成績であり、本誌による測定や独立した再現ではない。表2と評価設定

シミュレーションが誤った経路を選ぶこともある。候補を4つにそろえた比較では、推定器を使う4Bエージェントが候補を実際に実行して応答を取得した場合、GAIA正答率は38.8%だった。これに対して、シミュレーション応答で評価すると29.1%に下がった。候補の範囲を広げれば損失の一部は取り戻せるが、シミュレーションを実際の検索と同等とみなすことはできない。コンポーネント比較表4

ローカル環境でのコストは導入判断の鍵

「選ばれなかった分岐では検索しない」からといって、タスク全体のコストが必ず下がるわけではない。経路の選び方やタスクの長さによって総呼び出し数は変わり、シミュレーションにも計算が必要だ。著者らも、Seerと4つの経路をすべて最後まで実行する方式との比較では、総計算量をそろえていないと述べている。コストの定義と比較条件

補助モデルにもリソースが必要だ。2つのモデルはいずれもQwen3.5-9Bをベースとし、基盤の重みを共有しながら、異なるLoRAアダプターでファインチューニングされている。実験で使うウェブページの抜粋は、Qwen3.5-397B-A17Bを使ったサービスで処理されており、比較対象の各手法も同じサービスを利用した。したがって、41.7%という数値は、単一の4Bモデルが完全にオフラインで動作した場合の能力を示すものではない。著者らは実機でのピークメモリ使用量、消費電力、レイテンシを測定していない。学習設定と導入上の制約

自前でエージェントを運用する読者にとって、この研究が示す具体的なトレードオフは、推論を増やして検索方針を比較し、選ばれなかった候補に対する外部呼び出しのコストを抑えることだ。現時点の数値は、ツールを使う質問応答の改善を裏付けている。日常的な端末でコスト面の利点につながるかどうかは、実機で測定しなければ判断できない。

出典

  1. Seer: Guiding Small Deep-Research Agents with Shared Decision Models
  2. Seer: Guiding Small Deep-Research Agents with Shared Decision Models
  3. GAIA: a benchmark for General AI Assistants