GRSD、エージェント自身の成功・失敗軌跡を比較して報酬を配分、ALFWorldのunseenタスク成功率は83.6%

検証可能な報酬でエージェントを訓練する場合、GRPOなどの手法が通常把握できるのは、軌跡全体が最終的に成功したか失敗したかだけだ。このterminal rewardでは、どのステップが実際にタスクを前進させたのかを特定できず、偶発的な行動と重要な意思決定が同じadvantageにまとめられてしまう。既存の自己蒸留手法は、外部スキルライブラリを追加したり、より強力なモデルで単一の軌跡を解析したりするが、生成される助言が現在の方策の能力を超えている場合や、特定の一経路に過度に適合する場合がある。

7月30日に提出されたGroup-Reflective Self-Distillation（GRSD）は、方策自身のon-policy rolloutから指導信号を構築する。各問題について8本の軌跡を生成し、まずverifierが結果をラベル付けした後、方策に成功例と失敗例をそれぞれ反省させる。次に、勾配を停止した方策のスナップショットが両グループの反省を比較し、グループレベルのprivileged guidanceを合成する。続いてself-teacherがその指導に基づいて各turnを再評価し、結果によって決まる元のadvantageを調整する。ただし、verifierが判定した学習全体の方向を反転させることはない。反省tokenには独立した損失が設定されるため、実際のタスクtokenと反省tokenは異なる監督を受ける。

研究では、Qwen3-1.7B、4B、8BをALFWorld、7つの検索型質問応答データセット、およびWebShopで評価した。各backboneにおける有力なSkill-SDまたはSDARと比べ、GRSDはALFWorldの全体成功率を平均4.2ポイント、WebShopの成功率を5.5ポイント向上させた。ALFWorldのunseen splitでは平均83.6%に達し、GRPOとSDARをそれぞれ8.2ポイント、6.0ポイント上回った。改善幅はすべてのサブタスクで一様ではないものの、3種類のモデルを集約した結果は比較的安定している。

代償は訓練側に現れる。各promptについて8件の反省と1件のグループ要約を生成し、さらに反省を採点するために外部judgeを呼び出す必要がある。著者らが8基のH100とQwen3-1.7Bを用いたALFWorld実験で測定したところ、1回の更新に333.4秒を要した。GRPOは284.1秒であり、相対コストは1.17倍となる。追加プロセスはデプロイ時の推論には含まれないが、コードとチェックポイントはまだ公開されていない。また、外部judgeを使用するため、結果が評価モデルのバイアスに左右される可能性もある。今後は、外部judgeを使用しないバージョンとの比較に加え、長い軌跡、実環境でのツールエラー、異なる品質のverifierという条件下でも、creditを適切に割り当てられるかを検証すべきだ。