CLAP、異種ロボットの行動空間を統一し、動画世界モデルを異なる形態にまたがるシミュレーターとして活用

新たに公開されたCLAPは、ロボット向け動画世界モデルを異なるハードウェア間で共有しにくいという問題の解決を目指している。Franka、WidowX、双腕ロボット、ヒューマノイドロボットでは、自由度、関節の定義、制御インターフェースがそれぞれ異なるうえ、大量の人間動画には行動ラベルすら付いていない。チームは、7次元のエンドエフェクタ姿勢、自然言語による行動、隣接フレームから学習した32次元の潜在行動という3種類の表現を用いて、これらのデータを結び付けた。

学習には2段階のカリキュラムを採用している。モデルはまず、潜在行動を用いて人間および複数種類のロボット動画に含まれる時空間的な規則性を学習し、その後、ロボットを直接駆動できるエンドエフェクタ条件へ切り替えて学習を継続する。動画生成バックボーンはStable Video Diffusionを基盤とし、過去フレーム、ロボットの状態、マルチビュー映像から、行動後の未来を予測する。この構成により、ラベルなし動画の規模と幾何学的な制御信号の精度を両立させ、デプロイ時に抽象的な潜在ベクトルを実際のコマンドへ変換する必要をなくしている。

著者らはOpen X-Embodiment、EgoDex、DROID、Bridgeなどのデータで学習を行い、各実験では8基のH100またはH200を使用し、所要時間は約2～3日だった。報告によると、異なる形態を横断するモデルはDROIDにおいて、同じバックボーンを用いた単一形態のベースラインと同等の性能を達成した。また、人間動画のみから行動を抽出するベースラインと比べ、一部のLPIPS指標では少なくとも61%改善した。実験ではさらに、エンドエフェクタに絶対座標を用いると誤差が蓄積しにくく、DROIDのLPIPSは相対座標より約14.6%優れていた。一方、言語条件には、よりコンパクトな相対表現のほうが適していた。

公開パッケージには、異なる形態を横断するモデル、DROID、Bridge、双腕YAM、G1ヒューマノイドロボット向けのcheckpointに加え、リプレイ、キーボード制御、policy-in-the-loopのサンプルが含まれる。工学的な価値は、複数の行動候補をまず動画でシミュレーションし、その後に実機で実行できる点にある。ただし、評価の大半は著者らが管理するデータと約100本の軌跡に基づいており、論文自体も、モデルが依然として物理法則に反するハルシネーションを生成し得ることを認めている。今後は、視覚的にリアルな予測をそのまま信頼できるシミュレーションと見なすのではなく、独立した再現実験、推論レイテンシ、長期的な誤差、不確実性のキャリブレーションを検証する必要がある。