資料集與多模態研究
LAION-BVD、13億件の動画URLを公開—実際に8,000万本、計1,000万時間を処理
LAION-BVDはCommon Crawlから、動画・音声・フレームを横断するオープンな研究用データを構築し、合成キャプション付きの5,500万クリップや3億枚のフレームなどのサブセットを公開した。ViCLIPの評価ではInternVidベースラインを最大2.1%上回ったが、データは研究用途に限定されており、ソースの権利、URLのリンク切れ、合成アノテーションの誤りについては別途対処が必要だ。
LAIONやテュービンゲン大学などのチームは、オープンなマルチモーダル研究と大手テクノロジー企業が保有する非公開の動画コーパスとの規模の差を埋めることを目指し、LAION-BVDを公開した。チームはまず、Common Crawlから特定プラットフォーム向けの動画URLを13億件抽出し、そのうち約8,000万本のダウンロードと処理に成功した。総再生時間は1,000万時間に達する。続いて、コンテンツ認識型のシーン検出によって動画をクリップに分割し、動画と音声の合成テキスト記述を生成するとともに、映像に変化が生じた箇所からフレームを抽出した。
公開された成果物は単一の圧縮ファイルではなく、階層化されたデータプロダクトとなっている。Hugging Faceでは、完全なURLインデックス、合成動画キャプション付きの約5,500万クリップからなるBVD-V-55M、1,000万件の音声データ、約3億枚のフレームからなるBVD-I-300Mを確認できる。この設計により、研究者はURLのみ、または特定のモダリティだけを取得でき、元メディア全体を直接複製する際のハードルを下げられる。一方、再現性は、配信元での動画削除、地域制限、プラットフォームのダウンロード規則に左右される。
チームはViCLIP、CLAP、CLIPを用いてデータの有用性を検証した。公式の概要によると、ViCLIPは1,000万から5,000万クリップへと学習規模を拡大するにつれて継続的に性能が向上し、標準的な動画・テキスト評価ではInternVid FLTベースラインを最大2.1%上回った。音声モデルの性能は、ほかの未キュレーションの大規模コーパスと同程度であり、動画フレームの分布は一般的なWeb画像とは異なっていた。これらの結果は、このデータを用いて表現モデルを学習できることを示しているが、大規模動画生成モデルの品質を直接推測できるものではない。また、現時点の評価結果はデータセットの作者自身が算出したものにとどまる。
LAIONは、このデータの用途を研究および非商用目的に明確に限定し、著作権、プラットフォームの利用規約、適用法令を各利用者の責任で遵守するよう注意を促している。Web動画には、言語や地域の偏り、ステレオタイプ、有害コンテンツのほか、合成captionにおけるハルシネーションが含まれる可能性もある。今後は、URLの生存率、重複排除、コンテンツ安全性の監査に加え、第三者が一定の計算予算の下でscaling傾向を再現できるかが注目される。