Change2Task、過去のPRを新版コードへ移植——900件のエージェントタスクが3段階検証を通過

Microsoftの研究チームは、コーディングエージェントの訓練と評価における「環境構築のコストが高く、タスクがすぐに陳腐化する」という問題の解決を目指すChange2Taskを提案した。従来のSWE-bench系データセットは通常、問題を過去のcommitに固定する。一方、Change2Taskはマージ済みPRから説明、patch、テストのエビデンスを取得し、同じ保守要件を正常にビルドできる新しいバージョンへ移植することで、1つのDocker／依存関係環境で複数のタスクを実行できるようにする。

システムは3つの手法を順に適用する。まず元のpatchを直接反転する。新版コードがリファクタリング済みの場合は、過去と現在のコードブロックを対応付ける。それでも対応できない場合は、Claude CodeにPRのエビデンスと失敗時のフィードバックを与えてタスクを再構築させる。各ケースは「正常なベースライン—故障タスク—修復後の復元」という3状態の検証を通過しなければならない。対象テストは合格、失敗、再合格の順に結果が変化し、regression testは全段階で成功を維持する必要がある。さらに、変更範囲と元のPRとの構造的類似度に基づき、内容が歪んだケースを除外する。

研究は、デバッグ、機能追加、テスト生成、API migration、security patchの5種類の作業を対象とした。適格なソース1,130件のうち900件が検証を完了し、全体の成功率は79.6％だった。同一のデバッグ候補621件に対し、Change2Taskは500件のタスクを生成し、SWE-smith PR Mirrorの387件を29.2％上回った。388個の現行ベースラインを共有した結果、環境のビルド時間とストレージ使用量はそれぞれ58.4％、71.2％削減された。しかし、フルパイプラインの推定コストは10.8％しか減少しておらず、エージェントによる再構築と検証が依然として主なコスト要因であることを示している。

エンジニアリングチームは、データ汚染と評価の独立性に注意する必要がある。900件のタスクのうち68.3％でエージェントによる再構築が必要であり、意味的なレビューにも別の大規模モデルが使われている。論文には現時点で公開実装やデータセットへのリンクがなく、外部からはビルド失敗、モデルジャッジのバイアス、コスト見積もりを検証できない。したがって、これはすぐにデプロイできるベンチマークパッケージというより、実現可能なデータファクトリーの設計に近い。