PerceptionBench、視覚推論を10の基本知覚能力に分解――16種のマルチモーダルモデルはいずれも正解率60％未満

マルチモーダルベンチマークでは、画像の読み取り、背景知識、多段階推論を同じ問題に組み込むことが多い。そのためモデルが誤答しても、原因が視覚エンコーダー、座標の特定、言語推論のいずれにあるのかを開発者が判断するのは難しい。Moonshot AIが公開した[PerceptionBenchの論文](https://arxiv.org/abs/2607.24957)は、エラーチェーンの最上流に着目している。研究チームは、42の既存ベンチマークでモデルが最初に失敗した箇所を分析し、10種類の原子的な知覚能力に整理した。さらに各問題の解答を短く明確に設定し、外部知識や複雑な推論の影響を可能な限り排除した。

公開データは計3,000問で、このうち1,800問は既存の失敗事例を原子化したサブ問題、残る1,200問は追加画像を使って新たに作成された。問題は、文字認識、物体と属性、空間的位置、数量、姿勢、細粒度の視覚的差異などの能力を網羅し、カテゴリと難易度ごとに層化抽出されている。この設計の価値は、新たな総合ランキングを作ることではなく、能力プロファイルを示すことにある。総合スコアが近い2つのモデルでも、一方は小さな文字の認識、もう一方は空間的位置の特定に弱い可能性があり、必要となるデータの補強やアーキテクチャの調整も異なる。

チームは統一されたプロンプトを使用し、各モデルで利用可能な最大の推論予算を割り当てて、10種のクローズドモデルと6種のオープンモデルを評価した。正解率60％に達したモデルはなく、知覚型ハルシネーションに関連する項目の平均成績が最も低かった。これは、思考時間の延長やchain-of-thoughtの追加だけでは、入力段階で確実に抽出できなかった信号を修復できるとは限らず、誤った観察をより流暢な説明として取り繕ってしまう可能性さえあることを意味する。

全問題、統計、ランキングは[Hugging Faceデータセット](https://huggingface.co/datasets/moonshotai/PerceptionBench)で公開されており、公式の[技術解説とダウンロードページ](https://www.kimi.com/tr/blog/perception-bench)も提供されている。エンジニアリングチームは、平均スコアだけを追うのではなく、10種類の能力を回帰テストのスライスとして活用できる。ただし、公開された3,000問は17,000問を超える社内問題プールから抽出されたものであり、問題の検証プロセスと人間のベースラインについては、さらなる検証が必要だ。また、モデルが公開テストセットに触れた後は、後続バージョンのスコアが訓練データ汚染の影響を受ける可能性もある。