ProgramDistill、再生可能なWeb行動でエージェントによるソフトウェア再構築を評価――完全なワークフローの成功率は約半分にとどまる

9月16日に提出されたProgramDistillは、coding agentの評価を「issueに記述されたバグを修正する」方式から、リバースエンジニアリングに近い状況へと進めるものだ。エージェントはブラウザを通じて完全な参照Webサイトを操作できるだけで、そのソースコードや正解となるpatchを読むことはできない。状態遷移と機能間の依存関係を推論し、別途用意された機能欠損版のアプリケーションを修正しなければならない。検証器は同じ操作を再生して結果を確認するため、実装が元の版と行単位で一致する必要はなく、観測可能な振る舞いが比較される。

チームの`mine-craft-patch`パイプラインでは、まずエージェントがアプリケーションを探索し、ブラウザ操作、成功シグナル、前提条件を含むtraceを保存する。次に対応する実装を削除し、前提となる機能が引き続き動作することと、対象の振る舞いが確実に失敗することを確認したうえで、gold patchを使って復元可能性を検証する。このパイプラインは26のWebサイトから1,975件の再生可能な振る舞いを発見し、人手を介さずに2,862件の単一機能タスクと1,201件の累積タスクを構成した。後者では依存関係の連鎖に沿って複数の機能を同時に削除し、再構築の深度を1層から8層まで制御できる。

9つのエージェントが、300問の部分再構築テストに参加した。GPT‑6 Astraは深度1ですべて成功したものの、深度8では64%に低下した。ほかのエージェントが深度8で維持できた成功率は、いずれも各自の深度1における成功率の半分未満だった。最小限のscaffoldから完全なアプリケーションを再構築するテストでは、Astraが413件の累積ワークフローで49.15%、Claude Opus 5が28.81%、GPT‑5.6 Solが21.07%を記録した。失敗した977件の振る舞いのうち、59.2%は参照Webサイト上でエージェントが一度も観察していなかった。この結果は、純粋なコード生成能力よりも先に、探索のカバレッジがボトルネックになることを示している。

この手法により、エンジニアリングチームは「機能を発見できたか」と「忠実に再構築できたか」を分けて測定できる。また、強化学習の報酬として利用できる決定論的な再生軌跡も得られる。ただし、結果はいずれも論文チームのharness、予算、モデル設定に基づくものだ。現時点の検証は、操作と成功シグナルによって記述できるWebサイトの振る舞いに重点を置いており、スクリーンショットレベルの視覚的再現はまだ評価されていない。公式の完全版dashboardも依然として「近日公開」と表示されており、第三者がどの程度再現できるかは今後の検証を待つ必要がある。