PCDがマルチモーダルの失敗を知覚と推論のシグナルに分解、32Bから8Bへの蒸留で平均スコアが61.22に上昇

マルチモーダル推論モデルが誤答した場合、最終報酬だけでは、モデルが最初に画像を見誤ったのか、正しく認識した後の導出で間違えたのかを通常は特定できない。従来のon-policy distillationは、生徒がサンプリングした軌跡全体に教師シグナルを適用するため、すでに十分な知覚を繰り返し修正する一方で、より長い推論tokenが勾配を支配する可能性がある。新たに提案されたPerception-Correction Distillation（PCD）は、出力を知覚の`<aware>`区間と推論の`<cot>`区間に明示的に分割し、それぞれ蒸留と検証可能な報酬を用いて学習する。

各画像問題について、まず複数の知覚記述をサンプリングし、固定した各記述から複数の推論を生成する。研究では、同一の知覚における平均成功率PSRを使って下流性能を推定する。ただし、PSRが低くなる原因には、知覚の不足、問題自体の難しさ、推論器の弱さのいずれもあり得るため、PSRだけでは原因を識別できないと指摘する。そこでPCDは、知覚tokenにおける教師と生徒のKL divergenceも計算し、`(1−PSR)×KL`をsoft-ANDとして使用する。つまり、結果が悪く、かつ教師が生徒の見方に同意しない場合にのみ、その知覚に対する蒸留の重みを高める。バッチ内の重みは平均が1になるよう再正規化され、「どの事例を学習対象として選ぶか」という判断と、蒸留全体の強度増加とが混同されるのを防ぐ。

Qwen3-VL-8B→2Bおよび32B→8Bを対象とした8つのマルチモーダルベンチマークで、PCDのmacro averageはそれぞれ47.28と61.22だった。一様なOPDでは44.50と56.94だった。2Bモデルの対照実験では、PCDの重み付けまたは分離型rolloutを除くと、held-out平均スコアがそれぞれ2.22ポイント、0.88ポイント低下した。この手法は知覚ラベルや追加のdiscriminatorを必要としないが、知覚分岐ごとのrollout計算量は増加する。

中核的な制約は、KL divergenceが示すのはあくまで「教師が修正可能な差異」であり、知覚の真偽を表す校正済み確率ではない点にある。教師と生徒が同じblind spotを共有している場合や、対象の視覚的証拠について教師のほうが劣っている場合、積によるゲートは誤りを見逃し、場合によっては誤った方向を増幅する。論文では公開コードや学習checkpointも提供されていない。次の段階では、異なるモデルファミリー、数学以外の視覚タスク、固定されたGPU予算の条件で再現し、性能向上が分岐サンプリング数の増加や特定の出力タグ形式によるものではないことを確認する必要がある。