NVIDIA Cosmos 3 Edge、デュアルTransformerタワーでJetson上の視覚理解とロボット動作を接続

NVIDIAはHugging FaceでCosmos 3 Edgeを公開し、Cosmosワールドモデルを40億パラメータに圧縮した。Jetson、GeForce、RTX PRO、DGXなど、さまざまなクラスのハードウェア上でフィジカルAIを実行することを目指す。モデルは2基のTransformerを搭載する。自己回帰タワーは視覚およびテキストtokenを処理し、理解と推論を担う。拡散タワーは視覚、音声、動作tokenを処理し、予測、生成、ニューラルシミュレーションに使用される。両者はそれぞれ独自の正規化層とMLPを維持しながら、マルチモーダルAttentionを共有することで、「現在何が起きているか、次に何が起こり得るか、どのような動作を取るべきか」を共通表現へマッピングする。

動作データは双方向に流れる。モデルは現在の状態から動作と視覚的な結果を導出できるだけでなく、観測された変化から可能性のある動作を逆推定することもできる。公式はさらに、DROIDデータでポストトレーニングした操作ポリシー、チェックポイント、トレーニングスクリプトを公開した。640×360のロボット観測解像度では、Cosmos 3 EdgeはJetson Thor上で1回の推論につき32個の動作を出力し、15 Hzを達成できるとされる。これにより、意思決定をセンサーの近くに配置し、クラウドとの往復レイテンシーを削減する用途に適している。

ただし、現時点でもプラグアンドプレイの汎用ロボットコントローラーではない。15 Hzという数値とVANTAGE-Benchでのランキングはベンダー報告に基づくもので、実際の性能はカメラ、制御周期、動作表現、量子化手法、安全上の制約に左右される。開発者は、センシングからアクチュエーションまでのエンドツーエンドのレイテンシー、長時間の閉ループ誤差、異なるロボット間での転移、障害発生時に従来型コントローラーへ制御を引き継げるかを優先的に検証すべきだ。公式が予告しているvLLM最適化も、まだ提供されていない。