機器人世界模型
DreamX-Phi 以 SE(3)軌跡約束雙臂影片預測,WorldArena 2.0 暫居第一
DreamX-Phi 將兩支機械臂的剛體變換直接寫入注意力,並以深度、物件遮罩及 V-JEPA 特徵約束生成影片。它在 WorldArena 2.0 快照取得60.65分,但權重與推論程式要等挑戰賽結束才公開,真實機器泛化仍未驗證。

機器人影片世界模型的難題不只是畫面是否逼真,而是候選動作改變後,預測影片是否真的讓正確機械臂沿指定路徑移動,並保留被抓取小物件的狀態。DreamX-Phi 1.0 以 Wan2.2-TI2V-5B 為底座,輸入初始畫面、語言指令,以及包含末端執行器姿態與夾爪狀態的雙臂動作序列,再預測未來觀察畫面。
系統沒有把動作壓成一般控制 token,而是透過 PRoPE 式幾何編碼,把每支手臂的 SE(3)剛體變換注入 attention,保留手臂身份與三維運動結構;另以 robot-only flow 標示動作在影像中的位置。訓練端加入輕量深度分支約束場景幾何,以 SAM3 mask 提高小型操作物件的損失權重,再用凍結的 V-JEPA teacher 對齊物件跨幀表徵。最後透過 distribution-matching distillation,把多步影片生成器蒸餾成少步版本。
在8月12日固定的 WorldArena 2.0 快照中,DreamX-Phi 於31個 Track 1 參賽項目以 EWMScore-P 60.65排名第一,其中 trajectory accuracy 為57.15;Track 2 的 Adjust Bottle 政策成功率為67.19%,並列第二。WorldArena 1.0 的離線測試則得76.88,比該快照官方首名高3.24點。這表示幾何化動作條件可能比一般 token 更適合需要精確控制的影片模擬器。
但目前 GitHub 只有說明文件,模型權重與推論程式要等 IROS 挑戰結束才釋出;排行榜也是階段性快照。測試限於 WorldArena、RoboTwin,Track 2 更只有一項任務,且沒有 matched ablation 分離各模組貢獻。DreamX-Phi 亦只預測外部給定動作的結果,不會自行規劃,尚不能視為閉環機器人控制器。