ReMo、音声とテキスト間で視覚情報を再配分し、Omni-LLMの入力tokenを54%削減

KAISTとオックスフォード大学の研究者らは、Omni-LLMが映像、音声、テキストを同時に読み込む際に生じるシーケンス肥大化の問題に対処するため、ReMoを提案した。この種のモデルでは入力が数万tokenに達することがあり、その大半を視覚ストリームが占める。シーケンスが長くなると、attentionの計算コストとメモリコストが急速に推論のボトルネックとなる。ReMoはモデルの重みを変更せず、言語モデルへ入力する前にクロスモーダル情報を再配分する。

手法は2つの経路で構成される。まず、音声embeddingと視覚embeddingを共通空間へ投影し、演奏中のバイオリンのように、ある映像区間の高レベルな意味がすでに音声で表現されている場合、対応する視覚tokenを削除する。次に、音声ではカバーできない物体について、ReMoは3.4MパラメータのYOLOv8n-seg検出器を使用し、物体名と位置をより短いテキストプロキシへ変換する。一方、局所的な詳細や代替できない視覚情報は引き続き保持する。共通空間はVGGSoundの5,000組の音声—画像embeddingを用いてオフラインで構築される。このため「学習不要」とされているものの、追加のデータキャリブレーション、検出器、前処理は依然として必要となる。

著者らは、Qwen2.5-Omni 3Bおよび7Bで入力tokenを平均54%圧縮し、5つのベンチマークにおける正規化平均スコアが、完全な入力を使用した場合に対してそれぞれ101.2%と101.3%に達したと報告している。単一のRTX A6000上では、3Bの推論時間が7.35秒から4.78秒へ、7Bでは10.30秒から5.92秒へ短縮された。30BのQwen3-Omniを用いたテストでも、同様の傾向が維持された。動画カスタマーサポート、会議内容の理解、長時間動画検索において、これはモダリティ間で重複する情報をモデルの外部で事前に除去できる可能性を示している。ただし、スコアのわずかな上昇はノイズの除去による可能性があり、一般的な性能向上と解釈すべきではない。現時点の実験はQwen Omni、固定されたベンチマーク、単一のハードウェアに集中しており、コードもまだ公開されていない。そのため、モデルをまたいだ有効性、ストリーミング入力への対応、実環境におけるレイテンシ改善については、今後の検証が必要である。