多模態評測／AI 安全
SHROOM-Visions、4言語・2万件のデータでVLMのハルシネーションを評価、中国語の最高IoUもわずか0.53
新たな共有タスクでは、回答全体が信頼できるかを判定するだけでなく、視覚言語モデルのハルシネーションを文字単位で特定し、分類することが求められる。27チームが600超のシステムを提出したが、非公開テストと隣接順位の不安定さにより、導ける結論には限界がある。
SHROOM-Visions 2026は共有タスクの全結果を公開し、視覚言語モデル（VLM）のハルシネーション検出を、より細粒度な文字レベルの問題として設定した。各データには画像、プロンプト、モデル出力、ハルシネーションに該当するテキスト範囲とそのカテゴリが含まれる。参加システムは、出力の各文字について「ハルシネーションに属する」確率を推定し、その範囲を架空の物体、誤った記述、OCRの誤読、数量の誤り、またはその他のタイプに分類しなければならない。
データセットは約20,000件で、中国語、英語、フランス語、イタリア語を網羅する。訓練セットは約15,200件で、5種類の異なるVLMの出力から構成される。非公開テストセットは4,800件で、各言語1,200件ずつとなっている。評価では、予測範囲と人手によるアノテーション範囲の文字単位のIntersection over Union（IoU）だけでなく、ハルシネーション確率と複数のアノテーターから算出した経験的確率との相関、およびカテゴリの正誤を考慮したcorrelationも測定する。この設計により、「回答に問題があると認識すること」と「どの文字が問題で、どの種類の誤りなのかを正確に特定すること」を区別できる。
27チームが合計600超のシステムを提出した。4言語を通じた最高成績は、文字レベルの相関が平均0.58、カテゴリ条件付き相関が0.46、IoUが0.51で、公式baselineを約30～40パーセントポイント上回った。中国語ではvroom-vroomが首位となり、相関は約0.61、IoUは約0.53だった。英語ではTÜRKSATが約0.55の相関と0.49のIoUを記録した。最高性能のシステムでさえ、ハルシネーション範囲の半分近くが人手によるアノテーションと一致しておらず、この種のdetectorは、信頼性の高い出力ゲートとして直接利用するにはまだ適していないことが示された。
論文では25,000回のbootstrapによる順位検証も実施しており、上位で隣接する複数のシステム間では、一方が安定して勝つ確率が約0.35～0.47にとどまることが分かった。したがって、わずかな順位差を確定的な優劣とみなすべきではない。エンジニアリングの観点では、言語、エラーカテゴリ、キャリブレーション精度、アノテーション戦略ごとの失敗パターンを比較する方が重要である。今後は、テストデータが公開されるか、参加手法を再現できるか、また新世代のVLM、長文回答、実際の文書画像を対象とした場合にもdetectorがキャリブレーションを維持できるかに注目すべきだ。