2段階の表圧縮：まず64個の視覚tokenで表を特定し、次に元の解像度で推論

エディンバラ大学の研究チームは、複数の表を含む文書に対する「先に特定し、その後に推論する」質問応答フローを提案した。第1段階では各表を最小64個の視覚tokenまで縮小し、モデルには関連する表の番号だけを返すよう求める。第2段階では、選択された表を元の解像度で再度入力し、モデルに数値を読み取らせて回答を計算させる。この手法は学習を必要とせず、VLMのアーキテクチャも変更しない。

研究では、Gemma 4 E4B、Gemma 4 26B-A4B、Qwen 3 VL-8B、Qwen 3.5-9Bなど5つの構成を対象とし、MultiHierttとFinLongDocQAで評価した。FinLongDocQAの各文書には通常、約100ページと80個の表が含まれ、HTMLは最長127,816 tokenに達する。実験では、画像を単純に縮小するとセルの識別が困難になり、モデルがかえって長く無効な推論軌跡を生成することが判明した。一方、表の関連性判定は解像度の影響を受けにくかった。64-tokenの画像は、表の位置情報だけを残した対照群と比べ、主要な2モデルの表特定F1をそれぞれ16ポイント、10ポイント向上させた。

FinLongDocQAでは、2段階方式は元の解像度による1回の質問応答と比べて、平均token使用量を40.6%削減し、精度を7.1ポイント向上させた。精度が同程度だった最良の圧縮・単一推論構成と比べても、token使用量は14.9%少なかった。これは文書RAGに実用的な設計指針をもたらす。すなわち、低コストな表現でルーティングを担い、高忠実度のコンテンツは最終推論にのみ使用するというものだ。ただし、計測対象は言語decoderの入力tokenと出力tokenに限られ、視覚エンコーディング、2回のリクエストによるレイテンシ、API料金は含まれていない。また、FinLongDocQAで抽出された問題は400問にとどまる。コードとデータも正式発表時に公開予定とされており、現段階では結果を独立に再現できない。