ByteDanceのUniVR、視覚空間内で推論し、ダイナミクスをシミュレーションして長期行動を計画

ByteDanceの研究チームは7月14日、UniVRの論文とUniVR-34B-Planningチェックポイントを公開した。純粋な視覚デモンストレーションから、きめ細かな物理ダイナミクス、複雑な推論、長期計画を単一の統合モデルで学習できると主張している。映像をまずテキスト記述に変換し、その後、言語モデルに手順を生成させる方式とは異なり、UniVRは視覚表現空間内で後続の状態と行動を予測する。これにより、テキストでは完全に表現しにくい空間的関係、物体同士の接触、連続的な変化をモデルが保持できるようにする。

このアプローチは、ロボティクス、ゲームエージェント、コンピューター操作において特に重要だ。テキストによるChain-of-Thoughtは検証しやすい一方、幾何学的情報や時間的情報が失われる可能性がある。将来の視覚状態を直接生成または比較すれば、理論上、プランナーは「ある行動を取った後に何が見えるか」を評価できる。しかし、視覚的rolloutでは誤差も蓄積しやすい。初期段階で生成されたわずかな位置ずれが、多段階の反復後にはまったく異なるシーンへと発展する可能性がある。また、モデルが転用可能な物理法則ではなく、画面上の相関関係を学習してしまう恐れもある。

オープンなチェックポイントにより、研究者は計画能力が記憶、データの重複、あるいは真の状態予測のいずれに由来するのかを検証できる。今後は、オフライン動画の指標だけでなく、閉ループ制御に注目すべきだ。重要なテスト項目には、未知の物体、カメラ視点の変化、外力による外乱、長期的な誤差、実世界への転移が含まれる。34Bという規模は依然としてエッジデプロイメントを制約するため、実際のロボットシステムでは、蒸留、行動の階層化、または視覚世界モデルをより低い頻度の計画ループで動作させることが必要になる可能性がある。