TurnSight、ツール実行結果で各ターンを振り返り、Qwen3-8Bの3ベンチマーク平均を42.02に向上

ツールエージェントの強化学習では、多くの場合、タスク終了後に単一の報酬を受け取り、軌跡全体に類似した advantage を割り当てる。しかし、この方法では重要な違いが見えにくくなる。エージェントが最初のツールを正しく選択しても、次のターンで誤ったパラメータを渡す可能性があるためだ。最終的な失敗は、すべてのステップが同じ程度に間違っていたことを意味しない。TurnSightは、credit assignment の単位を、推論テキスト、ツール選択、JSONパラメータを含む完全なインタラクションターンに変更する。

学習時には、まず生徒モデルが通常どおり軌跡を生成する。次に、凍結された参照モデルが、生徒モデルが実際に受け取ったツール応答を取得し、1、2、3ターン先まで見通す「事後視点」から既存tokenの確率をそれぞれ再計算する。システムはtoken単位の差分を集約してターンスコアを算出し、まず3つの視点における方向の多数決によって相反するシグナルを除外したうえで、同じ方向を示す証拠のうち最も強いものを選択する。このスコアは、同一promptに対する複数のrollout間で正規化され、有界なtanh重みによってGRPO advantageの大きさを調整するが、元の更新方向は反転させない。

著者らは、検証可能な約2,000件のFTRLツール問題を用いてQwen3-4BとQwen3-8Bを学習し、FTRL、BFCL、ToolHopで評価した。8B版のベンチマーク横断平均は、未学習ベースラインの31.60、GRPOの30.93から42.02へ上昇した。4B版は37.51に達し、MatchTIRの34.76を上回った。リポジトリでは、VeRL拡張、Parquetデータ、評価スクリプト、2種類のモデルチェックポイントが提供されている。

制約として、すべての数値は依然として著者らの単一の実験パイプラインから得られたものであり、3つのベンチマークのサブ指標も尺度が完全には一致していない。そのため、ベンチマーク横断平均は要約値としてのみ捉えるべきである。また、複数の先読み教師モデルによって、学習時の計算量も増加する。今後検証すべき点は、ネットワーク遅延、非決定的API、再実行できないツールを含む本番環境のエージェントにおいて、実行結果が事後教師として安定して機能するか、そして改善効果がより長く、よりオープンエンドなタスクにも広がるかどうかである。