視覺模型／自監督學習
LeVJEPA、ターゲットエンコーダと予測器を廃止し、動画事前学習の計算量をV-JEPA 2の最大20分の1に削減
LeVJEPAは、単一のエンコーダ、クロスビュー不変性損失、表現崩壊を防ぐSIGRegを採用し、EMAターゲットネットワーク、stop-gradient、ピクセルデコーダへの依存をなくした。著者らは、同一のデータと学習期間において計算量に5.6～20.8倍の差があると報告しているが、現時点の結果は、チームが再学習したモデルによる凍結エンコーダのベンチマークに限られる。
動画の自己教師あり学習では通常、表現崩壊を回避するために2つのアプローチが用いられる。V-JEPA系の手法は、指数移動平均（EMA）ターゲットエンコーダ、stop-gradient、容量を制限した予測器を維持する。一方、VideoMAE系の手法は、マスクされたピクセルを再構成する。LeVJEPAは代わりに、同一のViTエンコーダで16フレームの動画のグローバルビューとローカルビューを処理し、各ビューの`[cls]`埋め込み間の平均二乗誤差を最小化する。さらにSIGRegを用いて、埋め込み分布が等方性ガウス分布に近づくよう制約し、すべてのサンプルが同一のベクトルに写像される自明解を排除する。これにより、学習グラフに残るのはエンコーダとプロジェクタのみとなり、比較する両側へ同時に勾配を流せる。
もう1つの計算量削減は、入力tokenをランダムにドロップすることで実現している。著者らはKinetics-710の同一の20%サブセットを用い、ViT-S、ViT-B、ViT-Lを240 epoch学習した。独自に再学習したV-JEPA 2と比べ、LeVJEPAは総FLOPを5.6～20.8分の1に抑えながら、同等またはそれ以上の精度を達成した。同一計算量でViT-Bを比較した場合、ImageNet-1Kの凍結プローブにおけるtop-1精度はLeVJEPAが61.0%、V-JEPA 2が51.6%だった。Kinetics-400では44.6%対40.7%だった一方、Something-Something-v2では40.4%対42.5%とLeVJEPAが下回った。これは、「20倍」があらゆるモデルやデータセットで得られる一定の高速化ではなく、エンドツーエンドの動画理解全般で優位性を保証するものでもないことを示している。
LeVJEPAはブロック因果注意も採用できる。同一フレーム内では双方向注意を行い、フレーム間では現在と過去のみを参照する。テストでは凍結プローブ精度の低下は見られず、新しい動画フレームが追加された際にも過去のフレームを再エンコードする必要がないため、ストリーミング知覚や自己回帰型世界モデルに特に有用だ。プロジェクトはコードとcheckpointをすでに公開している。今後は、独立した再現実験、より大規模で多様な動画におけるスケーリング結果、そして低コストの事前学習が検出、追跡、プランニング、ロボット制御での実質的な利益につながるかを見極める必要がある。