AlayaWorld v1.1、ストリーミング3Dポイントキャッシュを採用し、長時間動画の一貫性スコアが89.5に向上

Alaya Labは8月13日、AlayaWorld v1.1の技術報告を公開した。モデルのバックボーン、学習データ、セグメント単位の自己回帰生成方式は従来のままで、主な更新は条件信号の表現方法と注入方法に集中している。旧版では深度マップをワープして空間メモリを構築し、独立したAdaLNブランチを通じてカメラパラメータを入力していた。新版では各動画セグメントの生成後、ピクセル単位の3Dポイントを永続キャッシュに登録し、次のセグメントで予定されている視点から再レンダリングする。レンダリング結果は同一の因果VAEでエンコードされ、幾何学的メモリと視点制御の両方を直接担う。

チームはさらに、静止した先頭フレームを9フレームの動的条件に変更し、履歴ウィンドウをピクセル空間で整列させたほか、「メモリtokenをゼロ化する」処理をtokenの実際の削除へと改めた。これらの変更は、学習時とセグメント単位の推論時の間にある時間境界、シーケンス長、latent統計の差異を解消することを目的としている。無効な3Dレンダリング領域についてもtokenを削除し、FlashAttentionとの互換性を維持する。

WBenchの158件のナビゲーション事例において、AlayaWorldの一貫性平均スコアは89.5となり、比較対象の8システムを上回った。背景、遠近法、幾何学的一貫性のスコアは、それぞれ94.1、86.6、94.1だった。一方、シーン設定スコアは51.6、因果忠実度は65.1にとどまった。これは、映像が空間を記憶できることと、モデルが環境の意味や物理的因果関係を理解していることは同義ではないと示している。

現時点で、導入を検討する開発者は論文中の数値をそのまま再現可能なバージョンの性能と見なすことはできない。公開リポジトリには依然として従来のAdaLNおよびDepth-Anything-3の経路が記載されており、「改良版の重み」も公開予定のままだ。学習コードと一部のデータも未公開となっている。次の重要なマイルストーンは、新版の重み、ViGeoポイントキャッシュの実装、比較可能なWBench評価設定が同時に提供されるかどうかだ。