V-RAE、動画のlatentに凍結済み視覚表現を採用、K600の生成学習で最大6倍速く収束

現在の動画生成モデルは通常、まずVAEでピクセルをlatentに圧縮し、その後diffusion transformerで分布を学習する。しかし、VAEは主にテクスチャの再構成を目標としており、再構成スコアが高くても、そのlatentが生成しやすいとは限らない。V-RAEは、凍結済みの視覚基盤モデルをエンコーダーとして採用し、DINOv3、SigLIP2、EUPE、V-JEPA 2.1という4種類の表現を検証した。後段の学習可能なattention poolingは、時間的に隣接する特徴を統合し、意味情報を保持しながらシーケンスを短縮する。続いて、3D RoPEを備えた時空間Transformer decoderが、各latent stepから複数フレームを再構成する。学習時に更新するのはpoolingとdecoderのみで、生成段階ではV-RAEを凍結し、latent上でrectified-flow DiTを学習する。

著者らがKinetics-600で評価したところ、V-JEPA 2.1版の再構成rFVDは2.13だった。同一のDiTおよび学習設定では、最良版の生成gFVDがUCF101で117.86、K600で19.16となり、収束速度は最大6倍に向上した。さらに注目すべき点として、従来のrFVDと下流の生成品質とのPearson相関係数は、それぞれ0.200と0.473にとどまった。そこでチームはtFVDを提案した。これはlatentの時系列上で補間を行い、デコード後の時間的一貫性を測定する指標で、生成品質との相関はそれぞれ0.621と0.919まで上昇した。

この結果は、動画tokenizerの選定ではピクセル再構成だけを見るべきではなく、意味構造やlatentの時間的幾何もDiTのサンプル効率に直接影響することを示している。ただし、実験は依然として256×256、17フレームでの評価とクラス条件付き生成が中心で、サンプリングには100ステップのEuler法を使用している。また、高次元の表現latentによって、メモリ使用量やattentionの計算コストが増える可能性もある。確認時点では、[プロジェクトページ](https://v-rae.github.io/)で結果が公開されているものの、論文への導線には公開コードやモデル重みへのリンクは掲載されていない。今後は、テキスト条件付き長尺動画、より少ないサンプリングステップ、大規模なオープンソース再現でも同様の優位性を維持できるかが焦点となる。