Dream‑RSI、エージェントの探索履歴をリプレイシミュレーターに変換し、探索戦略をオフラインで書き換え

Google、Google DeepMindなどの研究機関は、長期的なプログラム探索で最もコストのかかる部分の改善を目指すDream‑RSIを発表した。エージェントは候補解を生成するだけでなく、どの分岐をさらに探索するか、いつ並列試行を行うか、いつ探索を停止するかも決めなければならない。このシステムは基盤モデルをファインチューニングせず、固定されたcoding agentと評価器に加えて、実行可能な探索ポリシーを導入し、3段階のループによって更新する。

オンライン段階では、候補プログラム、ワークスペースの状態、親子分岐、実行結果、コストを毎回discovery treeとして記録する。続いて、システムはこの木をreplay simulatorとして利用する。新しいポリシーは既存ノードの走査順序、並列構成、停止条件を変更し、保存済みの結果を直接読み取れるため、エージェントを再度呼び出したり評価を再実行したりする必要がない。別の固定LLMがポリシープログラムを大量に生成し、リプレイ環境で選別したうえで、最良のバージョンだけを次のオンライン探索ラウンドにデプロイする。

[論文](https://arxiv.org/abs/2609.14858)では、この手法を8つのタスクで評価した。Lasso solverの実験では、Gemini 3.1 Proのエージェント呼び出し回数が、固定探索の550回から317回に減少した。KernelBenchのVGG16とLayerNormタスクでは、それぞれ2.43倍、1.79倍少ない世代数で同程度の速度に到達し、ConvDivでは同程度の予算で最大2.09倍の性能を達成した。一方、数学的最適化の結果にはばらつきがあり、Sum–Differenceでは改善し、Circle Packingでは強力なベースラインに並んだものの、AutocorrelationではSimpleTESを上回らなかった。

エンジニアリング上の価値は、高コストな軌跡を再利用可能な制御プレーン用テストデータに変換できる点にあり、kernel tuning、プログラム探索、その他の客観的な評価器を備えたタスクに適している。ただし、任意の未知状態を予測できる世界モデルではない。リプレイが把握しているのは、すでに探索されたノードの実際の結果だけであるため、過去の探索木の外へ進む反実仮想ポリシーを確実に評価することはできない。また、実験はGemini、固定評価器、わずか8つのタスクに依存している。[プロジェクトページ](https://www.dream-rsi.com/)では論文、コードへのリンク、デモが公開されているが、今後はモデル間の転移、シミュレーターのバイアス、初期探索木の構築を含む総コストを検証する必要がある。