AgentOPSD、再帰的な信念割り当てでエージェント報酬を配分、Qwen2.5-7BがALFWorldで89.1%を達成

長期ホライズンのエージェントは通常、タスク終了時にしか成功または失敗のシグナルを受け取れない。GRPOなどの手法は軌跡レベルのadvantageを全ターンにブロードキャストするため、重要な操作だけでなく、無関係なステップや、リカバリー前の誤った操作まで同時に報酬を与えてしまう可能性がある。AgentOPSDは、criticを別途訓練することなく、このcredit assignment問題を再帰的な信念更新として再定式化する。

訓練時にはまず、追加のスキル情報を持つ「教師」と元のエージェントについて、各tokenのlog-probabilityの差を計算し、それをターン単位のエビデンスに集約する。このエビデンスを用い、「軌跡が最終的に成功する」というベイズ信念をlog-odds形式で更新する。隣接するターン間で生じた信念の修正量は、最終的な検証結果に基づいて符号の方向を補正したうえで、元のadvantageの再形成に用いられる。この手法はrolloutを追加せず、独立した蒸留損失も導入しない。シグナルは、修正されたpolicy objectiveを通じてのみ作用する。

著者らはQwen2.5-3BおよびQwen2.5-7Bを、ALFWorld、WebShop、7種類のSearch-QAデータセットで評価した。7B版のALFWorldにおける平均成功率は89.1%で、同一実験内のGRPOおよび複数の自己蒸留ベースラインを上回った。インタラクションが1ターン増えるごとの成功率の回帰上の低下幅は0.54ポイントで、GRPOとRLSDではそれぞれ2.91ポイント、3.59ポイントだった。アブレーション実験では、再帰的な修正を独立した局所差分に置き換えると成功率が89.1%から82.8%に低下した。また、結果に基づく符号方向の補正、または初期成功率の事前分布を取り除くと、それぞれ80.5%と78.9%まで低下した。

この設計は、検索、ブラウジング、embodied agentの訓練にとりわけ有用だ。最終結果を判定するverifierをシンプルに保ちながら、訓練側では各ステップが同じ重要度を持つと仮定せずに済む。ただし、実験対象は2つのQwen2.5モデル規模とシミュレーション環境に限られ、教師シグナルも訓練時の特権的なスキル情報に依存している。さらに重要な点として、GitHubリポジトリには現在、説明文書しかなく、コードは「近日公開」と記載されている。完全なコード、データ処理手順、複数回の独立した再実行結果が公開されるまでは、89.1%は著者らが報告した結果とみなすべきであり、外部での再現が完了した記録ではない。