MeViS-Audio優勝手法、単一モデルの判断を候補マスクのコンセンサスで代替

MeViSv2-Audioでは、物体の動きを説明する音声に基づき、動画全体の各フレームについて対象マスクを出力することがモデルに求められる。説明された物体が存在しない場合、システムは空のマスクも返さなければならない。これは一般的なテキストプロンプトによるセグメンテーションに比べ、音声認識エラー、動きのセマンティクス、フレーム間トラッキング、「対象なし」の判定という4つの相互に絡み合う問題を含む。新たな優勝報告では、単一の巨大なEnd-to-Endモデルを訓練するのではなく、まずQwen3-ASRで音声をテキストに変換し、その後、相互補完的な複数のローカライゼーションモデルとセグメンテーションモデルによって候補マスクの軌跡を生成する。

中核となる設計はagreement-based selection（一致度に基づく選択）だ。システムはスコアが最も高い単一候補をそのまま信頼せず、各軌跡について、ほかの候補との平均的なマスク一致度を計算し、集団のコンセンサスに最も近い軌跡を選ぶ。これは正解アノテーションがない状況で、異なるモデルの共通部分を使って信頼性を推定することに相当する。「左側」「2つ」、あるいは複数の物体など、一般的なトラッカーが見落としやすいクエリに対しては、方向、数量、単数・複数に関するルールもパイプラインに追加されている。最後に、動画レベルの分類器が、視覚のみのスコア、音声・映像のスコア、同じ動画に対する異なるクエリのスコアを組み合わせ、マスクを出力すべきか、空の結果を返すべきかを決定する。

報告に記載された`J&F`は0.5952、対象なしの正解率は0.7931、対象ありの正解率は0.9205で、総合スコアは0.769589だった。著者らによると、主催者から1位であるとの通知を受けたという。技術的な示唆は、マルチモーダルエージェントでは必ずしもすべてのモジュールを共同学習する必要はなく、候補間のコンセンサス、ルールによる補正、明示的な棄却ゲートでも、コンペティションのデータ上で優位性を得られるということだ。ただし、公式サイトのリーダーボードは現在もTBDのままであり、論文にもコード、推論コスト、候補モデル数に関する完全なアブレーション、クロスデータセット検証は示されていない。今後は、リーダーボードの正式確定、コード公開後の再現可能性、そして候補モデルが同じバイアスを共有している場合にもコンセンサス機構の信頼性が維持されるかを見極める必要がある。