世界模型與生成式影音
Runway GWM Worlds 2 以滑動 KV 快取連續生成 720p 互動影音
GWM Worlds 2 將自回歸擴散、因果影音解碼器與結構化 WorldPrompt 結合,能以文字動作和鏡頭訊號即時控制連續世界。系統仍是封閉研究預覽,快速運鏡、長期一致性與可重現評測都是明顯缺口。

Runway 於 9 月 3 日公開 GWM Worlds 2,將原本生成固定長度片段的影音模型改造成可持續接受輸入的互動模擬器。官方展示的輸出規格為 720p、每秒 24 幀及 48 kHz 音訊;使用者可分別操控角色和鏡頭,也能以文字讓特定角色移動、說話、操作物件,或直接改變天候與整個場景。
核心介面 WorldPrompt 把狀態拆成兩層。持久層包含初始影格、場景配置、角色屬性、重力或碰撞等規則;事件層則是帶起迄時間的動作、對白、聲音及逐幀鏡頭位移。這種表示法比把所有指令塞入單一提示更接近遊戲引擎的世界狀態與事件佇列,也讓不同使用者或代理能各自控制角色及導演層事件。
模型本身採自回歸擴散架構。每一步同時條件化於全域提示、當前影格的控制訊號,以及滑動視窗內的既有影音 token;較舊影格會從 KV cache 淘汰,影音解碼器也以因果快取降低延遲。這解釋了它為何能不預先決定片長,但也揭示長期記憶的限制:離開快取視窗後,幾何、材質與角色細節只能依賴模型重新建構,而非由明確狀態資料庫保存。
對工程團隊而言,值得關注的是同一介面可支援預先編排、回合制及即時三種執行模式,因而可能成為遊戲原型、具身代理測試或生成式介面的共同後端。不過,Runway 承認預先編排目前品質較高,即時模式多以預先寫好的文字動作綁定鍵鼠輸入;快速旋轉鏡頭會造成紋理與幾何漂移,參考影像亦僅限首幀或預填影音。官方沒有發布權重、論文、延遲分布、硬體需求或獨立物理一致性基準,因此「即時」不能直接等同可部署的低延遲模擬器。下一步應觀察長時段狀態保持、動作到畫面的實際延遲,以及代理能否在可重現測試中利用這些世界完成任務。