GAUGE、1,560回の実世界実験でシミュレーターと動画世界モデルを検証――単独で全面的に勝るエンジンはなし

GAUGEは、Embodied AIで広く使われる数値シミュレーターと生成動画モデルを、実世界の測定に基づく共通の診断フレームワークで初めて評価した。データセットには、22種類の制御されたタスクと約1,560回のモーションキャプチャー実験が含まれ、剛体の衝突と摩擦、ロープ、布、フォームなどの体積変形体を網羅する。研究チームはさらに、傾斜面、材料圧縮、デジタル画像相関などの手法を用いて摩擦係数、ヤング率、ポアソン比を較正し、別のシミュレーターを単に「ground truth」として扱うことを避けた。

物理エンジンについては、14種類のタスクでIsaac Sim、Genesis、Newtonを比較し、タスクに応じて軌跡RMSE、Dynamic Time Warping、運動量伝達効率、振動周期、エネルギー損失などの指標を採用した。その結果、あらゆるタスクに通用する勝者は存在しなかった。Isaac Simは一部の剛体接触および回転プラットフォームのタスクで高い精度を示し、Genesisは動的な布と大半の変形体で競争力を示した。一方、Newtonは特定の変形条件で首位に立った。衝撃接触、高速な布の運動、体積変形は、依然として全エンジン共通の弱点だった。これは、ロボットのポリシーが転移可能な物理法則ではなく、特定エンジン固有の誤差を学習する可能性を示している。

もう一つの評価では、5種類の剛体タスクを用いて、Cosmos3、Wan、Seedance 2.0、Genie 3を含む6つの生成システムを検証した。GAUGEは動画内の物体を追跡し、その軌跡が想定される方程式に従っているか、逆算したパラメータが実測値に近いか、さらにパラメータが時間を通じて安定しているかを個別に調べた。一部の動画は、正しい形式の運動方程式で良好にフィッティングできたものの、推定された加速度、衝突時の運動量、振動周期には明らかな誤りがあった。また、ネガティブプロンプトの追加によって、あるタスクの結果が改善する一方、別のタスクが悪化する場合もあった。

エンジニアリング上、この結果は、視覚品質や単一のsim-to-real成功率だけで訓練環境を選ぶべきではないことを示している。今後は、データ、シーン再構築コード、完全な評価パイプラインが公開されるか、また異なるエンジンのバージョン、ソルバーのパラメータ、動画のサンプリングレートでもランキングを再現できるかを確認する必要がある。現時点で動画モデルの評価対象は5種類の剛体シーンに限られているため、結論を布、軟体、実ロボット制御へ直接拡張することはできない。