DashArena、モデルに再生可能な操作トレースの添付を要求　ダッシュボードの「表示できるが使えない」ギャップを可視化

生成モデルはすでに、データ表と自然言語による要件からダッシュボードを生成できる。しかし、「ページが正常に読み込まれた」からといって、フィルターやチャート間の連動、分析フローが実際に使えるとは限らない。[DashArena](https://arxiv.org/abs/2608.10567)は、評価単位を静的なスクリーンショットから「単一のHTMLダッシュボードと実行可能な操作トレース」へと拡張した。モデルはページの完成後、クリック、入力、チャート上のマークの選択、期待される視覚的変化をJSON形式で列挙する必要がある。Playwrightベースの実行環境がChromium上で各ステップを再生し、コントロール、テキスト、EChartsのランタイムデータを照合したうえで、スクリーンショットと実行記録を視覚言語モデルに渡し、ペア比較を行う。

ベンチマークには、14のトピック群にまたがる234件のタスクが含まれる。主要ランキングでは、そのうち評価モデルの訓練に使用されていない120件のタスクを用いる。研究者はClaude Opus 4.6で選好ラベルを生成し、候補の順序を入れ替えた510件のデータを使ってQwen3-VL-8B-InstructをLoRAでファインチューニングし、DashJudge-8Bを開発した。人間の多数意見が得られた99組の比較において、人間との一致率は79.8％に達し、元のモデルの70.7％を上回った。一方、操作トレースと実行レポートを除くと71.7％まで低下した。レンダリングや再生の成否、コンポーネントが変化したかどうかといったルールだけでは、一致率は42.4％にすぎなかった。これは、意味的な品質をブラウザテストだけで判定できないことを示している。

エンジニアリングの観点でさらに注目すべきなのは、信頼性のギャップだ。GPT-5.5は選好ランキングで首位だったものの、レンダリング率は85.8％、完全再生率は73.3％にとどまった。評価対象となったすべてのモデルで、それぞれ86％と74％を超えることはなかった。この結果は、生成AIによるフロントエンドの評価では、スクリーンショットだけを採点するのではなく、再生可能なテスト、実行の証拠、意味的な判断を併せて保存すべきことを示している。[Apache ECharts](https://echarts.apache.org/en/)はCanvas／SVGによる多様なインタラクティブチャートを提供しており、このベンチマークで候補モデルの使用が認められているチャートインターフェースでもある。今後は、著者らがタスク、実行環境、重みを完全に公開するかどうかに加え、モデル自身が記述するトレースによって、モデルが提示したがらない失敗経路が見落とされないかを注視する必要がある。現時点で、単一トレースによるコントロールの平均カバー率は80.8％にとどまっている。