DRACO、動的ルーブリックでエージェントの各ステップに強化学習のクレジットを割り当て、タスクの正解を参照せずに訓練

長期ホライズンのエージェントを強化学習で訓練するには、通常、単体テストや環境の最終状態といったプログラム可能な検証器が必要になる。しかし、カスタマーサポート、調査、複数ツールにまたがる作業では、そのような正解を得ることが難しい。IBM Researchとカーネギーメロン大学はDRACOを提案し、訓練を「結果ブラインド」にした。訓練中はタスクの成功シグナルや正解データを参照せず、凍結された評価モデルがタスク指示と各rolloutに基づいて動的に評価ルーブリックを生成する。

各軌跡グループのルーブリックは、まず統合および重複排除され、その後、すべての軌跡が合格して識別力を失った項目が削除される。評価モデルは各項目について合格、失敗、または該当なしを出力し、責任を負うエージェントのステップも特定する。DRACOは合格と失敗の比率から軌跡報酬を計算し、GRPOで正規化したうえで、ステップの品質に応じてadvantageを再配分する。より良いステップには成功軌跡の正の更新を、より悪いステップには失敗軌跡の負の更新を割り当てる。この式は軌跡全体の総更新量と符号を維持するとともに、ステップごとのtoken数で正規化し、長い出力ほど自然に勾配が大きくなることを防ぐ。別個のクレジット割り当てモデルを訓練する必要はなく、各位置について評価モデルを個別に呼び出す必要もない。

研究では、Qwen3.6-27BとQwen2.5-32B-InstructにLoRAを適用してGRPO訓練を実施した。主要実験で使用したAppWorldタスクは90件のみで、各実行には8基のH100を使用した。ルーブリックの生成と評価の大半はGPT-5.4が担当した。DRACOはAppWorldのtest-normalでTask Goal Completion 85.3を達成し、未訓練モデルを15.9ポイント上回った。また、疎な真の報酬を用いるGRPOよりも5.3ポイント高かった。τ-bench Bankingへのゼロショット転移でも、ベースモデルを5.3ポイント上回った。コード、プロンプト、ハイパーパラメータ、評価パイプラインはApache-2.0ライセンスで公開されている。

中核的なリスクは「一貫して誤判定する」ことだ。動的ルーブリック自体には照合可能な独立した正解がなく、論文でも評価モデルと人手によるアノテーションとの較正一致度は報告されていない。最終的なタスク性能の向上も、クレジットが実際に正しいステップへ割り当てられたことを証明するものではない。今後は、複数の評価モデルおよび人手評価に対するロバスト性、訓練を再実行した際の分散、さらに大規模なタスク集合でも評価モデルの呼び出しコストを維持できるかが重要になる。