FlashREINFORCE、エージェントRLの同一問題グループサンプリングを単一軌跡の非同期更新で置き換え

長期的なエージェントのrolloutは、ツールやシミュレーター、長さの異なる推論チェーンで滞留する可能性がある。一方、GRPOなどのグループ相対手法では、報酬を比較する前に、同じプロンプトから複数の軌跡を生成する必要があり、同期のボトルネックが生じやすい。9月14日に提出されたFlashREINFORCEは、各プロンプトから軌跡を1本だけ取得し、完了したサンプルを直ちに非同期訓練へ投入する方式に切り替えた。そのため、サイズBのバッチはB個の異なるプロンプトを網羅でき、rollout予算を同一問題のsibling samplesに費やさずに済む。[プロジェクトリポジトリ](https://github.com/yifanzhang-pro/FlashREINFORCE)では、Apache 2.0ライセンスのPyTorch参照loss、CPU更新のサンプル、ならびにNVIDIA Moltを基盤とする推論、Pythonツール、ALFWorldの設定が公開されている。

この手法は、3つのコンポーネントによって更新を安定化する。One-Batch REINFORCEはバッチ平均報酬をbaselineとして用いるため、別途criticを訓練する必要がない。token importance samplingは、rollout policyと現在のpolicyの確率差を補正する。Sequence Trust Regionは、シーケンスレベルの条件に基づき、乖離が大きすぎる古い軌跡を棄却する。最後に、Sample-Mean Optimizationは各軌跡内でtoken lossを平均してからバッチ平均を計算することで、非常に長い失敗応答が、単にtoken数が多いという理由だけで過大な負の重みを持つことを防ぐ。各データバッチは1回だけ更新に使われ、その後破棄されるため、stale samplesの再利用によるバイアスも抑えられる。

[論文ページ](https://www.alphaxiv.org/abs/2609.flashreinforce-asynchronous-rl-agentic-models)によると、Qwen2.5-Math-1.5Bは5つの数学ベンチマークで平均38.0%を達成し、掲載されたGRPOベースラインを1.7ポイント上回った。rollout数は、GRPOの51.2万件に対して25.6万件だった。また、DeepSeek-R1-Distill-Qwen-1.5Bは、約4回分の更新に相当するpolicy lagがある状態でも6,000ステップにわたって訓練を継続できた。Qwen2.5-7B-InstructのALFWorldにおけるseen／unseen成功率は、それぞれ98.3%／96.5%で、比較対象で発生したツール呼び出しを停止する崩壊も回避した。

ただし、importance samplingが補正できるのは観測済み履歴上のactionに限られ、古いpolicyによって変化した状態分布を復元することはできない。シーケンスのtrust指標も、サンプリングされたactionに基づくKL proxyにすぎない。現在の評価は数学、Pythonツール、ALFWorldに集中しており、OSWorldのようなより複雑な環境は含まれていない。30B MoEの実験も、主として訓練の安定性を示すものであり、品質面での包括的な優位性を証明するものではない。エンジニアリングチームは、付属のCPU toy exampleを完全な再現実験と見なすのではなく、公開launcherで論文の曲線を再現できるかも確認すべきだ。