AutoDesign、エージェントに自身の設計ハーネスを書き換えさせ、7構成のポスター評価が平均12.4ポイント向上

AutoDesignは、「1回の出力を改善する」ことを、「出力を繰り返し生成するハーネス全体を改善する」ことへと発展させた。内側のDesignerは論文を読み、HTMLで編集可能なポスターを作成した後、ルールベースのチェッカーと視覚モデルのレビューに基づいて部分的な修正を行う。一方、外側のMetaHarnessOptimizerは、複数回のrolloutから得られたトレースとスコアを集約し、コーディングエージェントにcontext、ツール仕様、runtime、orchestration、評価フィードバックという5種類のコンポーネントのいずれかを変更させる。各イテレーションで変更できるコンポーネントは1種類のみで、候補バージョンが次のバージョンとして採用されるには、トレーニングセットの成績を向上させると同時に、変更を担当するエージェントには非公開の開発セットで成績を低下させないことが条件となる。

チームによると、7日間の進化プロセスでは224のサブエージェントを稼働させ、少なくとも123回の再帰的イテレーションを完了し、54件の更新を採用した。固定した10本の論文を使う対照テストでは、DesignHarnessを7通りのモデルとコーディングエージェントの構成で実行した結果、PosterBenchの平均スコアが54.99から67.39へ上昇した。100本すべての論文を対象とするメインリーダーボードでは、Claude Code／Claude 4.8の構成が78.32を記録し、同じモデルを使用するClaude Designを7.45ポイント上回った。1回の完全な生成には253回のツール呼び出しと11回の編集イテレーションが含まれる場合があり、完了まで約40分を要する。

この研究のエンジニアリング上の価値は、ポスターの自動制作だけにあるのではない。モデルの重みを更新せずに、エージェントのエラートレースを、バージョン管理とロールバックが可能なシステム変更へ変換する方法を示した点にある。[リポジトリ](https://github.com/Yaxin9Luo/AutoDesign)では、DesignHarnessと評価プロセスも公開されている。ただし、PosterBenchはルールとVLM judgeを併用しているものの、ブラインドテストで測定した人間の選好との相関係数はわずか0.34だった。また、ポスター以外のスライド、Webページ、動画への応用も、現時点ではデモにとどまる。エンジニアリングチームが次に注視すべき課題は、evaluator reward hacking、データ分布をまたぐ開発セットの設計、そして長期的な自己変更によってセキュリティ上の欠陥が蓄積する可能性である。