1,338件のポストトレーニング軌跡が示す、AIエージェントが隣接実験で戦略を変更した割合はわずか2.1%

新たな研究は、AIによる自動ポストトレーニングを二つの能力に分類した。一つは、既定の方針の範囲内でデータ、学習率、出力形式を調整する「実行能力」。もう一つは、実験結果に基づいてSFT、PEFT、RL、または多段階パイプラインへ切り替える「戦略能力」だ。研究者らは、7種類のベンチマーク、1.7Bから4Bまでの4種類のベースモデル、5種類のエージェントインターフェースを対象とする、[PostTrainBenchで公開された1,338件の完全な軌跡](https://posttrainbench.com/)を分析した。各オリジナル実行では、H100を1基、最長10時間使用できた。

結果によると、エージェントは1軌跡当たり平均3.82回のトレーニングと13.8回の評価を開始し、総合スコアもベースモデルの10.41%から23.0%へ向上した。これは、エージェントが実際にデータを構成し、コードを修正し、checkpointを納品できることを示している。しかし、3,557組の隣接するトレーニング実験のうち、トレーニングパラダイム、データソースの種類、または段階構成を変更したのは74組、すなわち2.1%にすぎなかった。Claude Codeの軌跡では80.7%がfull-parameter SFTから開始し、Codex CLIでは89.6%がPEFTを選択した。この結果は、戦略がタスクではなく、エージェントのデフォルトの選好によって決まる傾向を示している。[論文](https://arxiv.org/abs/2608.19072)は8月19日に公開された。

チームはさらに、実験ログ、ポストトレーニングのスキルライブラリ、独立した評価エージェントを用いてClaude Codeを強化した。Qwen3-1.7B-Baseを固定し、3回再実行するとともに、各実行でA800を4基、10時間使用する条件では、自律型ベースラインと比べてGSM8Kが12.6ポイント、HumanEvalが40.8ポイント向上した。しかしメインエージェントは、RLへの切り替えやSFTによるウォームアップの追加を提案されても、報酬シェーピング、形式、ハイパーパラメータなどの局所的な修正しか採用しなかった。推論tokenを2倍から8倍に増やすと比較的簡単なタスクでは効果があったものの、AIME 2025ではほとんど改善が見られなかった。

ただし、これは戦略を頻繁に変更すれば必ず良い結果が得られるという意味ではない。切り替え自体が計算資源を消費するうえ、AIMEは30問しかなく、わずかなスコア差は変動の範囲内でもある。エンジニアリングチームにとっては、明示的な戦略チェックポイント、代替仮説、残余予算の再配分ルールを導入し、「方針を最後まで実行する能力」と「方針をいつ断念すべきか判断する能力」を分けて測定する方が有益だろう。次に検証すべきなのは、この戦略の固定化が、異なるハードウェア予算、モデル規模、さらにポストトレーニング以外の研究タスクでも再現されるかどうかだ。