DeepChart、AIによるグラフ作成のデータ経路を段階別に検証――グラフが実行可能でもデータが正しいとは限らない

中国科学技術大学とHuaweiの研究者らはDeepChartを公開し、データサイエンスにおけるグラフ作成をExtract、Reason、Visualizeの3段階に分解した。モデルはまず論文、10-K文書、業界レポートから元となる数値を見つけ、次にグラフに必要な派生データを計算し、最後に実行可能なPythonまたはHTMLコードを出力する。このため、このベンチマークは完成した成果物だけを見るのではなく、ソースデータF1、派生データF1、視覚的正確性を測るVAS、コード実行率を示すERによってエラーの発生箇所を特定する。

データセットには724件の基本問題と、異なるコンテキストを持つ1,482件の事例が含まれ、30種類のグラフにまたがる。テキスト入力は平均22万600トークン、レポート形式のマルチモーダル入力は平均218ページに達する。ゼロショット実験では、業界レポートのタスクにおける平均コード実行率は0.782、VASは0.447だった一方、ソースデータF1と派生データF1はそれぞれ0.149、0.276にとどまった。つまり、コードが動作し、グラフも一見妥当に見えても、基礎となる数値は誤った根拠や計算に由来している可能性がある。

完全な10-Kを用いたストレステストでは、この傾向がさらに顕著だった。表を中心としたNormal入力からUltra-Long入力に切り替えると、平均VASは0.421から0.269へ、ソースデータF1は0.385から0.167へ、派生データF1は0.249から0.139へ低下した。分析エージェントを構築するエンジニアリングチームにとって、これは監査可能な中間データを保存し、計算結果を検証するとともに、先に検索や根拠情報の絞り込みを行う必要があることを意味する。画像やコードが正常に生成・実行されたかだけを確認してはならない。制約として、超長文テストは固定された50件の事例のみを対象としており、数値F1は忠実度の近似指標にすぎない。また、一部の商用レポートの元PDFはGitHubリポジトリでは配布されておらず、Zenodoから別途取得する必要がある。