世界模型／多模態生成
EchoWM、6DoFナビゲーションとネイティブ音声を世界モデルに統合。ただしインタラクティブ版コードは未公開
JD.comのJoy Future Academyチームは、統一された軌跡インターフェースで一人称および三人称視点の720p映像世界を制御するEchoWMを発表した。論文は同システムを「オープン」モデルとしているが、現在リンクされているリポジトリが提供するのは長時間動画用パイプラインのみで、EchoWMのコードとモデルウェイトはまだ公開されていない。
EchoWMの技術的な要点は、動画生成器に効果音を外付けすることではなく、同一モデルが連続的なナビゲーション入力に従い、720p映像、環境音、音楽、音声を同期生成する点にある。システムは、キーボードなどによる離散的なコマンドと連続的なカメラ姿勢を、メートル法のスケールを持つ相対的な6DoF軌跡へ変換する。一人称視点のシーンでは、それに基づいて観察者を移動させる。一方、三人称視点のシーンでは、モデルがカメラ、キャラクター、乗り物の連動を学習するため、視点ごとに個別のコントローラーを構築する必要がない。
学習データには、社内およびオンラインのゲーム動画、Unreal Engineによるシミュレーション、一般的なオンライン動画が混在しており、それぞれが正確なジオメトリと豊富な音声を補完する。学習プロセスでは、まず映像・音声の事前学習を継続し、次にバックボーンを凍結して軌跡チャネルのみを学習する。その後、低い学習率で共同ファインチューニングを行い、最後にモデル自身が生成した履歴を用いて自己回帰的なポストトレーニングを実施する。4ステップの因果モデルであるEchoWM-Flashは、より低遅延な連続生成を対象としている。
論文は、WBenchの158件のナビゲーション事例とSANA-WM-Benchにおいて、最高水準または上位の結果を報告し、複数ターンを経て既存のシーンへ戻る例も示している。ただし、これらは依然として著者自身による評価である。モデルには明示的かつ永続的な3Dメモリがなく、長時間の実行後にはジオメトリ、キャラクター、状態、音声のすべてにドリフトが生じる可能性がある。制御可能な速度、移動量、回転も、学習データの範囲に制約される。さらに重要なのは、公式GitHubが現在、JoyAI-Echo 1.5のコードを「近日公開」と明記していることだ。既存の推論コードは主にテキストから長時間動画を生成するためのものであり、EchoWMのインタラクティブなナビゲーションを再現できない。エンジニアリングチームは、インタラクティブ版のモデルウェイト、エンドツーエンドのレイテンシ、VRAM要件、第三者による再現結果が公開されるまで待ったうえで、リアルタイムシミュレーターとして利用できるかを判断すべきだ。