代理訓練
SMRC-SD、エージェントの状態を照合してから成功軌跡を蒸留し、Qwen3-1.7Bのタスク成功率を約12ポイント向上
成功デモンストレーションは、エージェントが迂回して到達した状態に必ずしも適用できず、無条件に完全な軌跡を与えると、正しい行動の確率が下がることさえある。SMRC-SDは、状態とデモンストレーションのステップに互換性がある場合にのみ自己蒸留シグナルを追加し、ALFWorldとWebShopの双方で完全パスのベースラインを上回った。
マルチターン・エージェントでは、各アクションがその後の環境を変化させる。生徒モデルが異なる順序でサブゴールを達成した場合、成功デモンストレーションに含まれる「次のステップ」は、現在の状態では実行できない可能性がある。SMRC-SDはこの問題を「状態—参照ミスマッチ」と呼び、privileged on-policy distillationの前段に決定論的な状態ルーターを導入する。
システムはまず、デモンストレーション軌跡のアクション接頭辞から状態シグネチャを再構築する。次に、生徒モデルの現在位置、インベントリ、オブジェクト属性、またはショッピングページ上の進捗と照合し、候補アクションが実行可能なアクション集合に依然として含まれていることを確認する。互換性のある位置が見つかった場合、教師モデルには完全なパス、現在の状態の要約、そして具体化された次の候補アクションが与えられる。見つからない場合、そのターンにもGRPOの終端報酬は適用されるが、パス条件付き蒸留損失は追加されない。これらの追加情報は訓練時にのみ使用され、デプロイ後のモデルは状態ルーターを必要としない。
Qwen3-1.7Bによるテストでは、ALFWorldのAverage@4が無条件のFullPath-SDの0.746から0.865へ上昇し、WebShopの二値成功率も0.574から0.693へ向上した。Qwen2.5-3Bでも改善が見られたが、WebShopの成功率は0.734から0.736へのわずかな上昇にとどまった。評価では各環境で固定された128タスクを対象とし、各問題につき4回のrolloutを実施した。また、コードベースでは訓練スクリプト、参照パス、固定アンカープローブが公開されている。
エンジニアリング上の制約として、状態シグネチャと互換性ルールは依然として環境ごとに手作業で記述されており、任意のブラウザエージェントや企業向けエージェントへそのまま移植できる汎用状態推定器ではない。WebShopの実験も、商品数がわずか1,000件のテキストサブセットを使用している。今後は、意味的な曖昧さ、部分観測性、実際のWebサイトの状態がある状況でも信頼性の高い照合を維持できるか、またルーティングエラーによって本来有効な教師信号まで除外されないかを検証する必要がある。