GeniWorld、ロボットの動作を視覚条件としてレンダリング――合成データで実機成功率を69.0%に向上

多くのロボット世界モデルは、関節角度やエンドエフェクタの座標を動画生成器へ直接入力する。しかし、低次元の数値にはピクセルレベルの空間的対応関係がなく、ロボット本体の運動、物体の変化、背景の外観を同じ条件付け経路で混同しやすい。8月6日に発表されたGeniWorldは、ロボットのURDFと順運動学を用いて、将来の動作をロボット本体のみを含む密な視覚シーケンスとしてレンダリングする。続いて3D VAEでエンコードし、動画latentとチャネル方向に連結して因果DiTへ入力し、flow matchingによって次の観測区間を予測する。

この設計はembodiment kinematicsとシーンダイナミクスを分離しつつ、事前学習済み動画モデルの時空間事前分布を維持する。推論時には、モデルが生成したフレームを自己回帰的に制御ループへ戻し、KV cacheで履歴を保持する。著者らはRoboTwin2.0の50タスクを対象に、クリーンなシーンの軌跡2,250件で学習し、ランダム化されたシーンの軌跡250件でゼロショット評価を実施した。視覚動作を用いるバージョンのFVDは20.15で、Ctrl-Worldの35.85を下回った。flow-matchingのサンプリングを50ステップから5ステップへ減らすと、著者らによれば速度は約10倍になり、FVDの悪化は約2%にとどまった。

実機評価では、ボウルの移動、タオル畳み、カップの配置、引き出しの開閉を扱った。各タスクでまず人間によるデモンストレーションを25件収集し、さらに空間ランダム化と多様なシーンを取り入れた合成軌跡を追加した。その結果、全体の成功率は実データのみを使用した場合の40.8%から69.0%へ向上した。5ステップのサンプリングでは、単一のNVIDIA H20上で約8 Hzに達し、インタラクティブな遠隔操作には十分だが、高周波の実機制御にはなお隔たりがある。さらに重要な制約として、現時点の検証結果は4つの双腕卓上タスクに限られ、成功判定の一部は人手とVLMに依存している。プロジェクトページも現在は手法と結果のみを掲載しており、コード、重み、データはまだ提供されていないため、汎化性能と実機上での有効性については独立した検証が必要である。