ホームへ戻る

世界模型/影片生成

AlayaWorld v1.1、ストリーミング3Dポイントキャッシュを採用し、長時間世界モデルの一貫性スコアが89.5に向上

AlayaWorldは15Bバックボーンや訓練データを変更せず、視覚条件、メモリ、カメラ制御のインターフェースを再設計した。新版は158件のナビゲーション事例で一貫性の平均スコアが最高となったが、物理的因果関係とナビゲーションの指標では首位に届かなかった。

Nightscream · CC BY 3.0 · Image source
zh-Hant

Alaya LabはAlayaWorld v1.1の技術レポートを公開した。焦点は15Bパラメータモデルの大規模化ではなく、条件信号と生成latentの間にある表現上のギャップの修正にある。従来のchunk-wise自己回帰アーキテクチャと訓練データは変更されていない。新版では、depth warpingベースの空間メモリをストリーミング3D point cacheに置き換えた。各chunkを生成するたびに、ピクセル単位の3D点を永続キャッシュへ登録し、次のchunkで予定されているカメラ位置から再レンダリングする。カメラ軌跡は既存の移動量に基づいてスケールを揃え、内部パラメータはpoint mapへのフィッティング後に固定する。

2つ目の中核的な変更は、条件と出力で同一のcausal VAEの時間規則を共有することだ。静止画像は単一フレームとしてエンコードせず、9フレームのウィンドウに配置して、時間的コンテキストを含むlatentを取得する。chunk間の引き継ぎにも同じ方法を用いる。時間メモリについては、まずピクセル空間で25フレームを整列させた後、正確に4つのlatentへエンコードすることで、旧版のoff-by-one境界がコンテキストへ混入する問題を回避した。メモリdropoutも、位置を維持した全ゼロtokenから、tokenそのものを削除する方式へ変更され、訓練時に初回推論と同じメモリなしのシーケンスを実際に学習できるようになった。

新版では独立したcamera AdaLNブランチも削除し、カメラ制御を、目標視点で3Dキャッシュを再レンダリングした結果によって完全に表現する方式へ切り替えた。これにより、視差、オクルージョン、スケールがすべて同じ視覚latentを介してモデルへ入力されるほか、有効領域にFlashAttentionを直接使用できるようになった。

WBenchの158件のナビゲーション事例において、AlayaWorldの一貫性平均スコアは89.5となり、評価対象となった9システムの中で最高を記録した。背景、遠近法、主体、幾何学的一貫性でも首位だった。一方、ナビゲーションスコアは80.0で、HY-World 1.5の87.5を下回った。物理平均スコアも63.1にとどまり、最高値の69.1に及ばなかった。これは、シーンを保持できることが、因果関係を正しくシミュレーションできることと同義ではないことを示している。さらに重要なのは、現時点でGitHub上の「improved weights」と訓練コードが依然として未完了とされ、公開されているクイックスタートも旧版のDA3およびAdaLNパスを説明している点だ。エンジニアは、新版のweights、コード、ablation結果の整合が取れるまで待ったうえで、今回のアーキテクチャ更新を独立して再現できるか判断すべきだ。

出典

  1. AlayaWorld: Interactive Long-Horizon World Modeling — Full Technical Report v1.1
  2. AlayaWorld source repository and release roadmap
  3. AlayaWorld interactive project page