視覚モデルは画像を拡大しても証拠を採用するとは限らない、Qwen3‑VL‑8Bの純増益はわずか6.9ポイント

マルチモーダルモデルは、細部を処理するために画像の一部をクロップして拡大することが多い。しかし、ツールが呼び出されたからといって、返却された画像が実際に回答へ影響したとは限らない。上海AI研究所などの機関は、3層の因果監査を提案した。まず、ツールを有効にした場合と直接推論した場合の精度を比較する。次に、完全な軌跡において各ツールの返却内容を別の位置から取得したランダムなクロップへ置き換える。最後に、既存のプロンプトとツール操作を固定し、単一ステップの観測だけを差し替えて、正解選択肢と撹乱選択肢の確率差がどう変化するかを測定する。このVisual Evidence Gain指標は、「新たな証拠を見ること」の効果を切り分け、テキスト化されたツール操作自体による回答の変化を視覚推論として数えないようにすることを狙っている。

論文では、DeepEyes、Pixel Reasoner、Mini‑o3、Qwen3‑VL‑4B／8B、Thymeを、5つの細粒度視覚ベンチマークで評価した。直接推論に対するツールモードの効果には大きな差があった。DeepEyesでは増益がほぼ見られなかった。Mini‑o3はVisualProbeで21.3ポイント向上したが、だからといって各クロップが毎回有効だったとは推論できない。Qwen3‑VL‑8BのV*における純増益は6.9ポイントで、このうちCalibratedに分類された軌跡がプラス7.6ポイントをもたらした一方、その他のグループが利益の一部を相殺した。

著者らは、失敗を「呼び出したが見ていない」と「見たが計画できていない」に分類した。前者では、返却画像を差し替えても回答の選好がほとんど変わらない。後者では視覚内容の影響を受けるものの、回答に十分な確信を得た後も拡大を続けたり、情報のない領域を繰り返しクロップしたりする。Mini‑o3におけるこの種の失敗では、クロップ領域の38%が元画像の4%未満だった。これはエージェント評価に対し、最終スコアだけを比較するのではなく、ツールの必要性、証拠への感度、停止戦略、tokenコストを併せて記録すべきだという直接的な示唆を与える。

制約として、実験対象はオープンウェイトモデルとcrop-and-zoomに限られている。また、logitsを必要とするステップ単位の手法は、クローズドAPIへ直接適用できない。著者らは、結果ベースの強化学習が誤ったツール使用習慣を生む可能性を指摘しているが、対照訓練によって因果関係を実証したわけではない。さらに、GitHubリポジトリには現時点でコミットが1件しかなく、READMEとライセンスファイルだけであるため、実験を完全に再現するには不十分だ。