多模態評測
視覚モデルによるクロップツールの呼び出しは証拠の利用を意味しない――6モデルの性能向上は少数の有効な軌跡に集中
新たな研究は、反実仮想クロップと観察破壊テストを用いて、視覚ツールが回答に実際の影響を与えているかを検証した。その結果、一部のモデルは単に「呼び出すだけで見ていない」ことが判明した。6モデルが5つの細粒度ベンチマークで示した全体的な性能向上は、主に少数の適切にキャリブレーションされた軌跡によってもたらされていた。
マルチモーダルモデルは、推論の途中で画像を能動的にクロップしたり拡大したりするようになっている。しかし、ツールの呼び出し履歴だけでは、モデルが返された画像を利用したことの証明にはならない。上海人工知能研究所（Shanghai AI Laboratory）などの研究チームは、視覚ツールの処理フローをツールアクション、返された観察、最終回答という3つのノードに分解し、ポリシー、完全な軌跡、単一ステップの3階層で因果介入を行う「CauAudit」を提案した。
ポリシー階層では、ツールを有効にした場合と直接回答する場合を比較する。軌跡階層では、ツールから返される各画像をランダムなクロップに置き換える。ステップ階層では、それ以前の推論を固定したまま単一の観察だけを置き換え、Visual Evidence Gainを算出することで、新たな画像が回答の選好を本当に変化させたかを調べる。研究対象にはDeepEyes、Pixel Reasoner、Mini-o3、Qwen3-VL 4B／8B、Thymeの6モデルが含まれ、5つの細粒度視覚ベンチマークが使用された。
結果からは、2種類のミスマッチが明らかになった。「Calling Without Looking」は、モデルがツールを呼び出していても、観察内容が回答にほとんど因果的効果を与えていない状態を指す。一方、「Looking Without Planning」は、画像自体は実際に有用であるものの、モデルがすでに回答を得た後もクロップを続けたり、呼び出し上限を使い切るまでツールを利用し続けたりする状態を指す。V*では、Mini-o3とQwen3-VL-8Bの軌跡のうち、それぞれ84.8％と59.2％がツール上限に達した。研究チームが軌跡を「未呼び出し」、2種類の失敗モード、「Calibrated」の4群に分類したところ、完全な評価を受けた4モデルすべてで一貫して正の性能向上をもたらしたのはCalibrated群だけだった。Qwen3-VL-8Bの全体的な向上幅は6.9パーセントポイントだったが、そのうち7.6ポイントはこの群によるものであり、残りの群は合計すると利益の一部を相殺していた。
この結果がエージェントの訓練と評価に示すのは、エンジニアリングチームはツール使用率や最終的な正解率を集計するだけでなく、回答がツールの返却値に対して敏感かどうかを検証し、ツール利用を停止するタイミングも追跡する必要があるということだ。著者らは、最終結果だけを見る強化学習では、有効な呼び出しと儀式的な呼び出しの両方が報酬を受ける可能性があると推測しているが、制御された訓練実験ではまだ確認していない。論文はオープンソース化済みとしているものの、現時点でGitHubにあるのはREADMEとライセンスファイルだけである。このため、データ処理と介入手順を独立して再現するには、完全なコードの公開を待つ必要がある。