Runway GWM Worlds 2、スライディングKVキャッシュで720pインタラクティブ映像を連続生成

Runwayは9月3日、GWM Worlds 2を公開した。従来は固定長のクリップを生成していた映像モデルを、入力を継続的に受け付けられるインタラクティブシミュレーターへと発展させたものだ。公式デモの出力仕様は720p、24fps、48kHz音声。ユーザーはキャラクターとカメラを個別に操作できるほか、テキストによって特定のキャラクターを移動させたり、話させたり、物体を操作させたりできる。天候やシーン全体を直接変更することも可能だ。

中核インターフェースのWorldPromptは、状態を2つの層に分ける。永続層には初期フレーム、シーン構成、キャラクター属性、重力や衝突などのルールが含まれる。イベント層には、開始時刻と終了時刻を持つアクション、台詞、音声、フレーム単位のカメラ移動が含まれる。この表現方法は、すべての指示を単一のプロンプトに詰め込むよりも、ゲームエンジンにおけるワールド状態とイベントキューに近い。また、複数のユーザーやエージェントが、それぞれキャラクターや演出レイヤーのイベントを制御できる。

モデル本体には自己回帰拡散アーキテクチャが採用されている。各ステップでは、グローバルプロンプト、現在のフレームに対する制御信号、スライディングウィンドウ内にある既存の映像・音声トークンを同時に条件として用いる。古いフレームはKV cacheから退避され、映像・音声デコーダーも因果キャッシュによってレイテンシを抑える。これにより、動画の長さを事前に決めずに生成できる一方、長期記憶の制約も浮き彫りになる。キャッシュウィンドウから外れた後のジオメトリ、マテリアル、キャラクターの細部は、明示的な状態データベースに保存されるのではなく、モデルによる再構築に依存する。

エンジニアリングチームにとって注目すべき点は、同じインターフェースで事前構成型、ターン制、リアルタイムという3つの実行モードをサポートできることだ。そのため、ゲームのプロトタイピング、身体性を持つエージェントのテスト、生成インターフェースに共通するバックエンドとなる可能性がある。ただしRunwayは、現時点では事前構成型のほうが品質に優れていると認めている。リアルタイムモードの多くは、事前に記述したテキストアクションをキーボードやマウスの入力に割り当てる方式だ。カメラを高速回転させるとテクスチャやジオメトリにドリフトが生じ、参照画像も最初のフレームまたは事前入力された映像に限られる。公式には、モデルの重み、論文、レイテンシ分布、ハードウェア要件、独立した物理的一貫性のベンチマークは公開されていない。このため、「リアルタイム」を、そのままデプロイ可能な低レイテンシシミュレーターと同一視することはできない。今後は、長時間にわたる状態保持、アクション入力から画面反映までの実測レイテンシ、そしてエージェントが再現可能なテスト環境でこれらの世界を利用してタスクを達成できるかを見極める必要がある。