SPADE、同一のLLMに実行可能な訓練環境を記述させ、30Bモデルの8評価平均を5.3ポイント向上

固定問題セットを使う強化学習では、モデルが既存タスクを習得すると訓練シグナルが失われる。[SPADE](https://arxiv.org/abs/2608.19197)は代わりに、同じ言語モデルに「環境設計者」と「推論エージェント」を交互に担わせる。設計者は事前学習コーパスの断片と過去の環境メモリを材料に、状態遷移、報酬関数、検証ロジック、および`reset()`、`step()`インターフェースを含む完全なPythonプログラムを生成する。プログラムは構造および実行チェックを通過した後にのみ、エージェントの訓練プールへ追加される。

中核となるシグナルはhint-based regret（ヒントベースのリグレット）だ。エージェントは特権的なヒントがある場合とない場合の両方で環境を実行し、そのリターン差を使って設計者を更新する。差が小さすぎる場合は通常、問題が簡単すぎることを意味し、両方で失敗する場合は解けない可能性がある。そのため、新しい環境をエージェントの能力限界へ近づけることが目標となる。エージェント自体はタスクのリターンによって更新され、2つの役割では同一ポリシー内でアドバンテージを個別に正規化する。公開データには4,976件の合成ゲームが含まれ、ツール使用版ではさらに4,023件の模擬バックエンドとマルチステップ・ワークフローが生成された。

Qwen3-30B-A3B-Instructでは、SPADEは最も強力な固定環境ベースラインと比べ、ホールドアウトされた数学、科学、プログラミング、手続き的推論の8評価で平均5.3ポイント向上した。BFCL-v4 multi-turnとACEBench-Agentでは、それぞれ5.7ポイント、13.9ポイント向上した。著者らは4B、8B、30B-A3Bのcheckpoint、環境データ、および[MITライセンスの訓練コード](https://github.com/spade-rl/spade)も公開している。バックエンドにはSGLang、Megatron-LM、Ray、Tinkerが統合されている。

制約として、論文は依然としてwork in progressと明記されており、主要な結果はQwen3シリーズのみを対象としている。プロジェクトページも、一部のプログラムに状態管理の誤りがあることや、ランダム生成されたSokoban盤面の大半がステップ数の上限内では解けないことを認めている。また、ツール検証器が主要な状態変化しか確認せず、指示に含まれるすべての制約条件を網羅しない場合もある。今後は、誤りを含む環境や解のない環境の割合、モデルをまたいだ再現性、さらに適応型カリキュラムに伴う追加の生成コストと二重rolloutのコストを測定する必要がある。