訓練資料
LAION-BVD、1,000万時間の動画コーパスを公開。ただしメディアファイルは承認を受けた非商用研究に限定
LAION-BVDはCommon Crawlから13億件の動画URLを整理し、約8,000万本、合計1,000万時間のコンテンツをダウンロードした。データパイプラインとURLリストは公開されたが、主要なメディアサブセットへのアクセスは制限され、コンプライアンス上の責任は引き続き研究者が負う。
LAIONは8月25日、Big Video Dataset（BVD）を発表した。大規模な動画・音声・画像の事前学習データを、検証可能な研究環境に持ち込む試みだ。チームはまずCommon Crawlからプラットフォーム固有の動画URLを13億件抽出し、その後、約8,000万本の動画のダウンロードに成功した。総再生時間は約1,000万時間に上る。この2つの数字を混同してはならない。前者は候補URLの集合にすぎず、後者が実際に取得された生コーパスである。
公開されたパイプラインは、ダウンロード、コンテンツを考慮したシーン分割、フレーム抽出、合成キャプションの生成、モデル学習までを網羅する。主な派生データには、動画キャプションとタイムスタンプが付いた5,500万件のシーンクリップ、1,000万件の音声クリップ、3億枚のシーン遷移フレームが含まれる。動画と音声の説明はWebページから直接取得したものではなく、モデルによって合成されている。このため説明テキストの欠落という問題を軽減できる一方、captionモデルの認識ミスやバイアスが後続の学習に混入する可能性もある。
LAIONはViCLIP、CLAP、CLIPの学習手順も公開した。著者らによると、BVDで学習したViCLIPは、標準的な動画–テキスト評価においてInternVidベースラインを最大2.1パーセントポイント上回り、データ量を1,000万クリップから5,000万クリップへ増やした際にも継続的な改善が見られた。これは、データ規模、モデル規模、モダリティ構成のスケーリング挙動を研究するうえで、数少ない公開実験資料となる。
ただし、「オープン」には重要な条件が付く。完全なメディアデータは匿名で自由にダウンロードできるわけではない。5,500万クリップのサブセットは約41.1TBで、所属機関、利用目的、認可に関する情報を提出し、人手による審査を受ける必要がある。利用は学術研究および非商用研究に限られる。直接取得できるのはURLと一部のmetadataのみだ。LAIONはまた、コーパスに地域・言語上の偏り、ステレオタイプ、コンテンツの権利に関する問題が含まれる可能性があると明確に警告している。公開されたからといって、著作権やプラットフォーム利用規約への対応が利用者に代わって済まされているわけではない。今後は、データ削除の仕組み、出典のトレーサビリティ、合成キャプションの誤差、そしてアクセスが制限された状況でも第三者が公式結果を再現できるかを注視すべきだ。