Open-EA、視覚生成評価エージェントを3Bに小型化。ただし現時点で完全対応するのはVBenchの動画ワークフローのみ

新たに公開されたOpen Evaluation Agent（Open-EA）は、画像・動画生成モデルの評価を、固定プロンプトセットと単一の総合スコアによる方式から、自然言語で目標を指定できる複数ターン型エージェントへ移行させようとするものだ。システムはまず、「被写体の一貫性はどうか」といった問いを複数の観点に分解する。次に、目的に合ったプロンプトを選び、生成モデルやVBenchなどのツールを呼び出し、中間結果に基づいて次のラウンドで何をテストするかを決定する。最後に、観察結果を根拠として示す要約を出力する。

ACL 2025版のEvaluation Agentと比べた今回の主な更新点は、計画段階でGPT-4oを必須としなくなったことだ。チームは既存の複数ターンrolloutからEA-CoT-10Kを構築した。中核データは履歴コンテキスト付きの記録10,042件で、内訳はツール選択に関する記録7,494件と要約2,548件。VBenchの15種類の動画評価ツールをカバーしている。研究者らはこのデータを使ってQwen2.5-3B-Instructを全パラメータ教師ありファインチューニングし、ローカルプランナーEA-3Bを作成した。このほかに画像データ986件もあるが、現行のEA-3Bの訓練には使用されていない。

エンジニアリング面では、公開されたruntimeはOpenAI-compatibleな2つのローカルエンドポイントを使用する。EA-3Bが計画を担当し、別のQwen2.5-3B-Instructがツールのプロンプト一覧から設問を選択する。さらに、生成器とVBenchも別個のワークロードとして動作する。公式サンプルでは通常、2つのエンドポイントにGPUを1枚ずつ割り当て、3枚目のGPUで評価対象の動画モデルを実行する。エンドポイントはデフォルトで`127.0.0.1`にのみbindされる。認証機構がないため、外部からアクセスできるアドレスでlistenさせる場合は、ネットワーク分離と認証を独自に追加する必要がある。

論文では、元のEvaluation Agentは従来ワークフローの約10%の評価時間で同等の結果を得られるとしている。しかし、Open-EAで新たに行われた実験の焦点は、訓練分布内の4つの動画生成器と分布外の3つの動画生成器の間における方策転移であり、モデルファミリーをまたぐ汎化も「部分的」にしか示されていない。現在、ローカル版が完全に対応している範囲は、VBenchによるtext-to-video評価に限られる。画像のオープンエンド評価とT2I-CompBenchでは、引き続きGPT-4oを使用する経路が必要だ。今後は、EA-3Bがactive samplingによって低頻度の失敗を見落とさないか、また異なるプランナーを使った場合でも固定された生成予算の下でランキングの一貫性を維持できるかを検証する必要がある。