T1、MoEルーティングの再生で長期シーケンス強化学習を安定化、Terminal-Bench 2.1のタスク解決率は64%に上昇

Tencent Hunyuanチームと複数の大学の研究者は、Qwen3.5-122B-A10Bをpost-trainingして開発したターミナルエージェントモデル「T1」を公開した。総parameter数は約122Bで、各tokenあたり約10Bをactivateし、クラウドsandbox内で300回を超えるtool callを連続実行できる。チームはmodel weights、technical report、training dataの項目も同時に公開しており、外部の研究者はAPIのスコアだけでなく、この長期シーケンス向けエージェント強化学習手法そのものを検証できる。

中心的な課題は、MoEにおける訓練と推論の不一致だ。エージェントがタスクを実行する際、対話フレームワークは過去のテキストを繰り返し再tokenizeする。わずかな数値差でもrouterのtop-kエキスパート選択が変わる可能性があり、その結果、PPOが実際に軌跡を生成したpolicyとは異なるpolicyを更新することになる。T1のTITOメカニズムは、sampling時のtoken IDとlog probabilityを直接保存し、turnの境界で再tokenizeによって生じたずれを補正する。一方、R³は各layer・各tokenで実際に選択されたエキスパートを記録し、訓練時のforward passで同じ選択を再生する。同時に、gate scoreは現在のparametersで計算するため、routerのtrainabilityも維持される。この2つの手法により、チームが測定した平均log-probability gapは0.021から0.013へ縮小した。

reward設計も、タスク全体の成功・失敗だけを見る方式から、validator内で通過したassertionの数を計算する方式へ変更された。研究者はまずフルサイズのcriticをwarm-startし、その後、監査済みのT1-15kタスクセットを用いてPPO訓練を行った。Terminal-Bench 2.1の89件のheld-outタスクでは、base model、SFT、T1のタスク解決率がそれぞれ43.8%、49.4%、64.0%だった。Long-Horizon Terminal Benchでは27.9を記録した。

ただし、これらの数値を汎用エージェントのランキングと見なすべきではない。比較は著者らが統一されたharness上で実施したものであり、長期タスクのベンチマークではClaude Sonnet 4.6が依然として37.3に達している。これは、より短いタスクで構成されるTerminal-Benchの順位をそのまま外挿できないことを示す。公開checkpointも約125B parametersの規模があり、hosted inference providerは存在しないため、実際の再現には大容量のGPU memory、十分なsandbox capacity、強固なsecurity isolationが必要になる。今後の焦点は、第三者がPPOによる改善を再現できるか、そしてTITOとR³をほかのMoEモデルやエージェントフレームワークへ移植できるかにある。