進化戦略によるポストトレーニングはより多くの推論経路を保持、Pass@32でGRPOを平均的に上回る

南方科技大学、シンガポール国立大学、Huawei Noah’s Ark Labなどの研究機関による研究が、LLMの推論能力を高めるポストトレーニング手法として、進化戦略（Evolution Strategies、ES）を改めて評価した。GRPOは同一の方策から複数の回答をサンプリングし、相対報酬に基づいてtoken単位の勾配を構築する。一方、ESはモデルの全パラメータにガウス摂動を加え、フォワードrolloutのみを実行したうえで、各摂動方向を標準化報酬で重み付けして更新を合成する。バックプロパゲーションの状態を保持する必要がないため、メモリ要件が低く、個体群のメンバーを複数の計算ノードへ分散することも容易だ。

著者らが注目したのはPass@1だけではなく、反復サンプリングによって少なくとも1つの正解を発見できるかを測るPass@Kだ。実験ではQwen2.5-1.5B、Llama-3.2-3B、Qwen2.5-7BをGSM8Kでポストトレーニングし、さらにDeepSeek-R1-Distill-Qwen-1.5BをDeepScaleRで訓練した。GRPOは通常、単一サンプルの正答率をより大きく向上させたものの、簡易設定における18件のPass@16／Pass@32比較のうち15件でベースモデルを下回った。ESではエントロピーの変化が小さく、2種類の設定のいずれでも平均Pass@1、Pass@16、Pass@32がベースラインを上回った。

難易度の高い数学設定では、このトレードオフが最も明確に表れた。4項目の平均Pass@1／16／32は、GRPOが52.9／74.7／78.0、ESが49.9／75.0／78.9だった。ESとGRPOに更新予算を半分ずつ割り当てて順番に訓練すると、ES→GRPOは52.3／75.8／79.2を記録し、単一サンプルでの向上の大部分を維持しながらPass@32を高めた。論文は、この現象をパラメータ摂動によって生じる方策集団の多様性に起因するとし、verifier-projected Jensen–Shannon diversityを用いて、反復サンプリングのカバレッジとの関係を説明している。

研究では、ESによるパラメータ全体のドリフト量がGRPOの40.7～44.1倍に達することも明らかになった。しかし、有効な改善は少数の比較的大きな更新に集中しており、重みの距離だけで破滅的忘却を判断することはできない。エンジニアリングチームにとって、ESは候補解の多様性、探索、majority votingを必要とするユースケースに適している一方、デコードを1回しか行わないプロダクトには必ずしも向いていない。現時点のエビデンスは、最大7Bの4モデルと、数学および少数の質問応答／コーディングベンチマークに限られる。論文に記載されたコードリポジトリも確認時点では一般公開されておらず、計算コストとチームをまたいだ再現性については、なお検証が必要だ。