多模態 RAG
DualG-MRAG、多モーダル知識グラフを2層に分割し、MMQAのR@5を61.9%に向上
DualG-MRAGは、マクログラフで文書横断推論の経路を探索し、ミクログラフで局所的な画像・テキスト証拠を照合することで、細粒度ノードによる知識グラフの急速な肥大化を防ぐ。MMQAでは、R@5をグラフベースの最良ベースラインの42.1%から61.9%へ向上させたが、コードとインデックス構築コストはまだ公開されていない。
マルチモーダルRAGでは、しばしば2種類の表現の間でトレードオフが生じる。文書全体だけをノード化すると、画像領域や表のフィールドといった局所的な証拠を失いやすい。一方、あらゆる細部を単一の知識グラフに詰め込むと、ノードとエッジが急増し、検索結果に大量のノイズが混入する。7月30日に提出されたDualG-MRAGは、これら2つの役割を分離した。Macro Graphは文書、エンティティ、クロスモーダルな関係を保持し、グローバルなトポロジールーティングを担う。Micro Graphは細粒度のコンテンツを保持し、候補範囲内でのみ局所的な照合を実行する。
クエリが入力されると、GNN Retrieverはメッセージパッシングによって各証拠の関連度を更新する。続いてシステムは、GNNのフォワードパスを有向非巡回グラフ（DAG）として展開し、動的計画法で確率の高い証拠経路を抽出して、Qwen3-VL-4Bまたは8Bに回答させる。互いに独立したtop-k chunksを単に連結する方式ではない。ミクロ検索では、まずベクトルインデックスからtop-Kのアンカーを取得し、制限されたサブグラフ内でヒューリスティックなbranch-and-boundを実行する。論文ではクエリグラフは通常5ノード未満と推定しているが、これは依然としてデータ構造とパラメーターに依存する分析である。
テキスト、画像、表を含むMMQAのテストでは、DualG-MRAGのR@2／R@5は49.4%／61.9%で、MMGraphRAGの31.8%／42.1%を大きく上回った。WebQAのR@5は58.2%だった。平均クエリレイテンシーは約0.44秒で、著者らが測定したMMGraphRAGの約40.5秒を大幅に下回る一方、VLM2Vec-V2.0の約0.09秒よりは遅い。Macro Graphを除去するとMMQAのR@5は21.8%まで低下しており、主な改善が実際にグローバルルーティングに由来することを示している。
エンジニアリング面では、オフラインでのグラフ構築時間、インデックス容量、増分更新に加え、異なるハードウェアや大規模な企業コーパスでも同様のレイテンシーを再現できるかが注目点となる。実験ではMMQAとWebQAからそれぞれ1,000問しか抽出しておらず、コードと完全なインデックスはまだ公開されていない。また、明示的な経路を与えても、8BモデルのMMQA EMには安定した改善が見られなかった。これは、より高性能なモデルほど、固定された経路によってかえって制約される可能性を示している。