SciFigBench：図表記述ではGPT-5.2が最高得点、判読不能な内容にも96%が回答

科学図表のベンチマークは通常、モデルが傾向を読み取ったり質問に答えたりできるかだけを問う。しかし正答率だけでは、画像が不鮮明な場合、情報が欠落している場合、あるいはテキストプロンプトが誤解を招く場合に、モデルが推測をやめられるかどうかは分からない。そこでSciFigBenchは、「正確に読み取る能力」と「不確実な状況で信頼できる振る舞いをする能力」を分けて評価する。高品質な人手によるアノテーションを施した科学図表250点を収集し、600時間超をかけてアノテーションを行ったうえで、画像変換、推論問題、誤誘導耐性プローブ、caption biasプローブ、さらに検証済みの選択的に不鮮明化した領域を追加し、3万4,000件を超えるテスト設定を構築した。

評価ではA-R-Iフレームワークを用いて3つの要素を測定する。Admittanceは、モデルが証拠不足を認めるかを確認する。Resistanceは、誤ったコンテキストに抵抗できるかをテストする。Inductanceは、部分的な情報から過剰な推論を行わないかを調べる。結果から、一般的な能力スコアと振る舞いの信頼性は同じではないことが示された。GPT-5.2は記述品質のMQMが91.6、推論精度が78.4%だったが、内容を判読できないケースでも96%で具体的な回答を生成した。Gemini 3.1 ProはMQMが90.2、推論精度が81.0%で、判読不能なケースの71%で不確実性を認め、誤誘導耐性スコアでも0.91を記録して首位となった。

これは、論文読解エージェント、実験データ抽出、医療・工学レポートのパイプラインにとって特に重要だ。通常の画像に対する精度だけでモデルを選べば、記述には優れていても、証拠が見えなくなった後も数値を補完し続けるモデルをデプロイしてしまう可能性がある。エンジニアリング側では、不鮮明化、クロッピング、captionの競合、回答拒否のキャリブレーションを回帰テストに組み込み、出力が画像内の可視領域を参照するよう求めるべきだ。制約として、データセットに含まれる元の図表は250点にとどまり、3万4,000件超の設定の多くは同じ画像群から派生している。また、ランキングはプロンプトテンプレート、モデルのバージョン、プロバイダー側のバックエンド更新によって変動する可能性がある。