Cosmos 3 Edge、世界モデルを4Bに小型化し、単一GPUで視覚・テキスト・ロボット動作を同時処理

NVIDIAはCosmos 3 Edgeをリリースし、従来データセンター向けだったCosmos 3世界モデルを4B規模に小型化した。単一GPUおよびエッジ環境におけるPhysical AIの出発点と位置付けている。モデルはMixture-of-Transformersアーキテクチャを継承する。自己回帰Transformerが離散的なテキストと推論結果を処理し、拡散Transformerが反復的なノイズ除去を通じて、画像、動画、音声、動作などの連続信号を生成する。2つの生成経路を共通フレームワークに統合する狙いは、単なるVisual Question Answeringではなく、観測から将来の状態を推定し、シミュレーションコンテンツや制御シーケンスを生成できるシステムを実現することにある。

公開パッケージには、汎用版のCosmos3-Edgeと、ロボット操作データセットDROIDでファインチューニングしたCosmos3-Edge-Policy-DROIDが含まれる。入力インターフェースは、テキスト、RGB画像、2次元の動作軌跡をサポートする。動作軌跡は、関節位置、グリッパーの状態、カメラ姿勢など、フレームごとの制御値を表現できる。付属のCosmos Frameworkは推論、学習、評価のパイプラインを提供し、DROID、LIBERO、物理的妥当性スコアリングなどを用いた学習レシピも示している。これにより研究者は、互いに独立した言語モデル、動画モデル、制御モデルを連携させることなく、同一アーキテクチャ内で視覚推論、世界生成、ポリシー学習を比較できる。

ただし、「Edge」という名称は、あらゆる組み込みプラットフォームでリアルタイム動作することを意味しない。デプロイに必要な実際のVRAM容量、量子化方式、画像解像度、動画の長さ、拡散ステップ数によってレイテンシーは大きく変化する。モデルカードも、空間幾何、因果関係、時間的順序、物体の状態を誤って判断する可能性があると警告している。エンジニアリングチームが次に注目すべき点は、JetsonおよびデスクトップGPUでのエンドツーエンドのベンチマーク、閉ループ操作の成功率、そしてモデルが誤った将来予測を生成した際に、コントローラーが安全制約とリアルタイムセンシングによって、ハルシネーションが物理的な動作へ変換されるのを防げるかどうかである。