ParVL、共有バックボーンでマルチモーダルモデルを並列スケーリング——視覚と言語の計算資源を個別に配分可能

マルチモーダルモデルのスケーリングには通常、パラメータ数を増やす方法と、推論時にモデルが生成するシーケンスを長くする方法という2つの方向性がある。前者はメモリ要件を高め、後者はレイテンシを増大させる。ParVLは第3のアプローチを提案する。複数の視覚・言語ブランチで同一のInternVL3.5／Qwen3バックボーンの重みを再利用し、各ブランチには学習可能なKV prefixのみを追加したうえで、軽量なアグリゲーターによって出力を統合する。これにより、主要な重みをブランチ数に応じて複製することなく、実際に実行される計算量を増やせる。

チームは約130億tokenを用いて全パラメータの教師ありファインチューニングを実施し、1Bモデルで視覚・言語ブランチの9種類の構成を検証した。公開結果によると、9つの画像ベンチマークにおける単一ブランチのベースラインの等加重平均は49.6だったのに対し、視覚4ブランチ・言語4ブランチでは50.5に上昇した。より大規模な2Bモデルと8Bモデルでは、いずれも2:2構成を採用し、平均スコアはそれぞれ54.7と63.0だった。改善幅はそれほど大きくないものの、実験の重要な発見は、計算資源の配分に汎用的な最適値が存在しないことだ。OCR、数学、一般的な視覚理解では、好ましい視覚／言語計算資源の比率がそれぞれ異なる。

プロジェクトでは、モデル実装、DeepSpeed設定、11組のチェックポイント、学習履歴、CPUテストが公開されている。評価にはMMMU、MathVista、ChartQA、DocVQAなどのデータセットが含まれる。ただし、学習データ自体は再配布されておらず、一部の回答抽出はGPT-4oに依存している。また、結果はハードウェア数、FlashAttentionのバージョン、バッチ構成にも左右される。エンジニアリングチームが次に注目すべき点は、ブランチ並列化が実際のservingシステムで、より優れた品質／レイテンシ曲線につながるかどうか、そしてすべてのワークロードに同じ計算コストを固定的に負担させるのではなく、リクエストの種類に応じて視覚・言語ブランチを動的に調整できるかどうかだ。