DreamX-Phi、SE(3)軌道制約による双腕動画予測でWorldArena 2.0暫定首位

ロボット動画世界モデルの難しさは、映像がリアルに見えるかどうかだけではない。候補となる動作を変更した際に、予測動画の中で正しいロボットアームが指定された経路に沿って実際に動き、把持された小物体の状態が維持されるかどうかも重要だ。DreamX-Phi 1.0はWan2.2-TI2V-5Bをベースモデルとし、初期フレーム、言語指示、エンドエフェクタの姿勢とグリッパー状態を含む双腕のアクションシーケンスを入力として、将来の観測フレームを予測する。

このシステムは、アクションを一般的な制御tokenへ圧縮するのではなく、PRoPE方式の幾何学的エンコーディングを通じて各アームのSE(3)剛体変換をattentionに注入し、アームの識別情報と3次元の運動構造を保持する。さらに、robot-only flowによってアクションが画像内のどこで生じるかを示す。学習時には、軽量な深度ブランチを追加してシーンの幾何構造を制約し、SAM3 maskによって小型の操作対象物に対する損失の重みを高める。加えて、凍結したV-JEPA teacherを用い、フレーム間で物体の表現を整合させる。最後に、distribution-matching distillationを通じて、多ステップの動画生成器を少ステップ版へ蒸留する。

8月12日時点で固定されたWorldArena 2.0のスナップショットでは、DreamX-PhiはTrack 1の参加31件中、EWMScore-P 60.65で首位となり、trajectory accuracyは57.15だった。Track 2のAdjust Bottleでは、ポリシー成功率67.19%で同率2位となった。WorldArena 1.0のオフラインテストでは76.88を記録し、同スナップショットにおける公式首位を3.24ポイント上回った。この結果は、精密な制御を必要とする動画シミュレータでは、一般的なtokenよりも幾何学的なアクション条件付けの方が適している可能性を示している。

ただし、現時点でGitHubに公開されているのはドキュメントのみで、モデル重みと推論コードはIROSチャレンジの終了後に公開される予定だ。ランキングもあくまで途中段階のスナップショットである。テストはWorldArenaとRoboTwinに限られ、Track 2ではわずか1タスクしか評価されていない。また、各モジュールの寄与を切り分けるmatched ablationも実施されていない。DreamX-Phiは外部から与えられたアクションの結果を予測するだけで、自律的なプランニングは行わないため、現段階では閉ループ型ロボットコントローラとは見なせない。