ERUnderstand、ER図を構造化テストに変換――VLMは多項関係と弱エンティティで精度が大幅に低下

ERUnderstandは、データベースエンジニアリングでは一般的でありながら、主要なマルチモーダル評価では十分に扱われてこなかったタスクを正式にベンチマーク化した。すなわち、ER／EER図の画像から機械可読なデータモデルを復元するタスクである。データセットには2,960枚の図、17,415個のエンティティ、15,305件の関係、66,856個の属性が含まれる。データソースは、教材、Spider、BIRD、Northwindなどの実際のschemaに加え、LLM支援のGraphvizパイプラインで生成した制御可能なサンプルに分類される。各図には統一形式のJSONが付属し、主キー、カーディナリティ、弱エンティティ、継承、多値属性、複合属性などの要素が記録されている。このため、単に画像に関する質問へ回答できるかではなく、構造を実際に復元できたかを評価できる。

評価対象となった10種類の視覚言語モデルは、基本要素についてはすでに良好な認識能力を示し、一般的なエンティティ、関係、属性のF1は0.74を超える場合がある。しかし、細粒度の記号に進むと性能は急速に低下する。論文の要旨によると、弱エンティティは最低0.28、多値属性は0.14、三項以上の関係は0.07だった。さらに詳細な分析では、非推論モデルのN-ary関係におけるF1は0.01未満であり、推論モデルでは約0.31まで向上するものの、信頼できるschemaを直接生成するには依然として不十分だった。推論の強化によって全体として約15～25%の改善が得られたが、トポロジー上の誤りは解消されなかった。

エラーの類型は、エンジニアリングへの応用を考えるうえで特に重要である。モデルは、図上で近接し、意味的にも関係がありそうなエンティティ間に、存在しない関係を作り出しやすい。一方で、距離は離れていても実際には線で接続されているノードを見落とすこともある。研究者がラベルをランダムな文字列に置き換えたり、役割を入れ替えたりすると、各モデルのスコアは概して低下した。これは、モデルが下線、二重枠、破線、接続トポロジーを安定して読み取るのではなく、「IDは通常、主キーである」といった言語的事前知識に部分的に依存していることを示す。対話的な自己チェックは要素の見落としを減らせるものの、基礎となる視覚的な構造推論の修正にはあまり効果がない。

データセットと評価コードはGitHubで公開されており、データベースcopilot、レガシーシステムの移行、文書解析パイプラインのテストに利用できる。ただし、人手によるアノテーションを独立した2名で実施した試験は30枚の図のみを対象としており、平均一致率は89.72%だった。また、評価には単一のpromptとtemperature 0が用いられ、従来型のOCR、形状検出、グラフ追跡パイプラインとの比較も行われていない。したがって、エンジニアリングチームは引き続きVLMの出力をschemaの候補として扱い、構文検証、接続線の追跡、人手によるレビューと組み合わせるべきである。