ClawGym II、エージェントフレームワークの境界で軌跡を取得し、ブラックボックスの Claude Code も強化学習に参加可能に

エージェント強化学習では通常、研究者が agent loop 全体を制御できることを前提とする。しかし、Claude Code や OpenClaw のような harness は、プロンプト、ツール、サブエージェント、コンテキストを独自に管理するため、その内部プロセスを従来の RL trainer に直接接続するのは適していない。8月17日に提出された ClawGym II は、代わりにモデルサービス境界からアプローチする。各タスクと harness を一時的なサンドボックス内で実行し、エージェントによるすべてのモデルリクエストを serving proxy 経由にすることで、訓練システムはフレームワーク内部の実装を理解しなくても、プロンプト、応答、分岐関係を記録できる。

取得された呼び出しは、本質的に線形の rollout ではない。研究チームは、共有された prefix とその後の分岐を prefix tree に整理し、PPO と critic を使用しない GRPO を変更した。これにより、復元された木構造の軌跡上で方策更新を計算できる一方、訓練時と推論時に実際に同一の harness を使い続けられる。また、システムは mix-harness training にも対応しており、単一のモデルが特定のプロンプトテンプレートだけに適応するのではなく、異なるエージェントフレームワークの制御フローから共同で学習できる。

Qwen3-30A3B をベースとした場合、論文によると、ClawGym-Bench の Pass@1 は OpenClaw を用いた訓練で9.98ポイント、Claude Code を用いた訓練で14.81ポイント向上し、200～400 update step にわたって安定した訓練が可能だった。JobBench と OfficeQA でも向上が記録されている。これにより、「商用または急速に進化するエージェントフレームワークをブラックボックス環境として扱う」ことが、現実的な訓練インターフェースとなる。エンジニアリングチームは、本番環境の harness におけるツールのセマンティクスとコンテキスト管理を維持できる。

ただし、現時点の数値は依然として、著者らが管理するモデル、サンドボックス、評価の組み合わせから得られたものであり、ベンダーをまたぐ harness でも改善が普遍的に成立することを証明するものではない。今後注目すべき点は、ClawGym II の完全な訓練コード、計算コスト、失敗軌跡が公開されるかどうか、そしてエージェントフレームワークがプロンプトやツールプロトコルを更新した後も、serving proxy が再現可能な policy gradient を維持できるかどうかである。