實體 AI 與機器人
NVIDIA Cosmos 3 Edge 以雙 Transformer 塔在 Jetson 上連接視覺理解與機器人動作
Cosmos 3 Edge 是 40 億參數的開放世界模型，可同時進行場景理解、未來預測與動作生成。官方稱其在 Jetson Thor 上每次產生 32 個動作，控制頻率可達 15 Hz。
NVIDIA 在 Hugging Face 釋出 Cosmos 3 Edge，將 Cosmos 世界模型壓縮至 40 億參數，目標是在 Jetson、GeForce、RTX PRO 與 DGX 等不同層級硬體上執行實體 AI。模型包含兩座 Transformer：自回歸塔處理視覺與文字 token，負責理解和推理；擴散塔處理視覺、音訊與動作 token，用於預測、生成及神經模擬。兩者保留各自的正規化層與 MLP，但共享多模態注意力，藉此把「目前發生什麼、下一步可能發生什麼、應採取什麼動作」映射至共同表示。
動作資料可雙向流動：模型既能由當前狀態推導動作與視覺後果，也能從觀察到的變化反推可能動作。官方另外發布以 DROID 資料後訓練的操作策略、檢查點及訓練腳本。在 640×360 的機器人觀察解析度下，Cosmos 3 Edge 據稱能在 Jetson Thor 每次推理輸出 32 個動作並達到 15 Hz，適合把決策留在感測器附近，降低雲端往返延遲。
這仍不是即插即用的通用機器人控制器。15 Hz 與 VANTAGE-Bench 排名是供應商報告，實際表現會受相機、控制週期、動作表示、量化方式與安全限制影響。開發者應優先測試端到端感測至致動延遲、長時間閉迴路誤差、跨機器人轉移，以及失敗時是否能由傳統控制器接管；官方預告的 vLLM 最佳化也仍待推出。