ReToken、単一の学習可能なtokenで視覚KV cacheを選別――長時間動画QAで8.0ポイント向上

ReTokenは、長時間動画や大量の画像入力における中核的なボトルネックに対し、ごく小さな変更を提案する。視覚言語モデルに単一の学習可能なembeddingを追加し、明示的な検索ターゲットとして学習させる。動画または画像群を、継続的に利用できる視覚KV cacheへあらかじめエンコードしておき、質問を受け取ると、ReTokenがcacheから少数の関連tokenブロックを選び出し、凍結された言語モデルによるデコードに渡す。これにより、視覚コンテキスト全体を繰り返しattention計算へ入力する必要がなくなる。

著者らは、関連情報がvalue spaceに存在する可能性があるため、標準的なattention weightが必ずしも信頼できるフレーム検索シグナルではないと指摘する。そこでReTokenは、学習済みtokenを使ってそのシグナルを読み取り、層横断のvotingによってブロックを選択する。この設計により、同じ動画に対して複数の質問を行う場合も、エンコードは一度で済み、新たな質問ごとに主として検索とデコードのコストだけを負担すればよい。

Visual Haystacksでは、ReTokenによってQwen3-VL-8Bは13.4ポイント、InternVL3.5-8Bは12.4ポイント向上し、いずれも相対改善率は20％を超えた。また、小規模なimage-QAデータのみで学習した後でも、長時間動画へzero-shot transferでき、LVBenchではQwen3-VL-8Bを8.0ポイント向上させた。バックボーンは凍結されたままで、学習と長時間動画の推論はいずれも単一のH100上で実行できる。

コード、MIT Licenseの実装、2つのHugging Face checkpointが公開されており、PyTorch、CUDA、FlashAttention、Transformersのバージョンも固定されている。これは再現性の向上に役立つ一方、現時点で依存パッケージがかなり脆弱であることも示している。エンジニアリングチームは今後、end-to-endの初回回答レイテンシ、KV cache容量、検索件数ごとの精度、さらに大規模なVLMや異なるアーキテクチャのVLMにもtransferできるかを注視すべきだ。現時点の数値だけでは、オープンエンドな動画理解やリアルタイムストリーミングでも同様に有効であることを直接証明できない。