Agent Lightning v1.0、実運用のエージェントフレームワークを強化学習に直接統合し、Qwen3.5-9BのSWE-bench Verifiedを56.4%に向上

Microsoftと複数の大学の研究者はAgent Lightning v1.0を公開し、「デプロイ時に実際に使用されるエージェントフレームワーク」をモデルの強化学習に組み込んだ。トレーナー内に簡略化した環境を別途実装する方式ではない。新版は約3,500行のコードで構成され、Trainer、API Gateway、Rollout Controllerからなる。Gatewayはモデルエンドポイントをプロキシしてリクエストとレスポンスを記録し、Controllerはローカル環境またはKubernetes Jobで既存のエージェントを実行する。TrainerはverlとvLLMを通じて軌跡を整理し、方策を更新する。ツール、コンテキスト圧縮、制御フローは引き続きOpenHandsなどのフレームワークが管理する。

この分離型アーキテクチャの難点は、エージェントを1回実行した際に、回数が一定しないモデル呼び出しが発生することだ。コンテキストの再シリアライズや圧縮によって、token prefixの連続性が損なわれる可能性もある。このため論文では、advantage計算とloss normalizationの単位を個々の訓練サンプルからrollout全体へ引き上げている。最良の設定では検証報酬が38.2%に達し、sample-levelベースラインの35.0%を上回ったほか、方策エントロピーもより安定した。

コーディングエージェントの実験では、まずSWE-smithをクリーニングした。59,136件のレコードのうち18,033件には問題文がなく、さらにブランチが存在しないタスクやテストが200件を超えるタスクを除外した。その後、モデルの成功率に基づいて約6,000件まで絞り込んだ。エージェントが答えを直接取得するのを防ぐため、環境では`.git`を非表示にしてGitコマンドを無効化し、Kubernetesのネットワークポリシーによって任意の外部接続を遮断した。最終的に、Qwen3.5-9BのSWE-bench Verifiedスコアは41.8%から56.4%へ向上した。

エンジニアリング上の価値はスコアだけではない。retokenization、軌跡の統合、非同期スケジューリングがRLに与える影響を研究するための再現可能なフレームワークを提供している点にもある。次の課題は、この改善を異なるモデル、エージェントフレームワーク、プログラミング言語でも再現できるかを確認することだ。現時点の結果は、このフレームワークへ置き換えるだけで同等の向上が得られることを意味するものではない。