推論系統
PhyAI 統一 VLA 與世界動作模型推論,官方路徑對照加速 1.40 至 4.65 倍
PhyAI 以模型轉接器保留各架構的條件、求解器與動作語意,再共用圖執行、核心、快取及多 GPU 服務。公開測試涵蓋 π0、π0.5、GR00T N1.7、Cosmos3 與 MiniCPM-Robot,但部分比較未使用完全相同的數值精度。

具身模型從雲端強化學習 rollout、離線評估到機器人端側控制,往往使用不同的推論程式;即使 checkpoint 相同,前處理、迭代式動作求解器或輸出轉換的差異,也可能讓部署行為偏離訓練。北京郵電大學、北京大學、清華大學、明體科技與面壁智能等團隊提出 PhyAI,希望用同一條模型執行路徑涵蓋視覺—語言—動作模型(VLA)及同時預測世界狀態與動作的 WAM。
PhyAI 沒有把這些模型硬套進 LLM 的 prefill/decode 介面。模型轉接器保留條件輸入、迭代求解器狀態、可重用張量、排程及動作轉換;底層則共用 CUDA Graph、最佳化核心、記憶體與快取管理、量化、通訊及平行執行。π0.5 可沿用單 GPU runner 做資料平行,Cosmos3 則能結合張量平行與 classifier-free guidance 平行。公開程式目前支援 Jetson、RTX 5090、A40、H100,以及多張 H20、A100 等部署形態。
論文在 11 組可對照的模型與裝置組合中,報告相較官方實作有 1.40 至 4.65 倍加速。Cosmos3-Nano-Policy-DROID 在八張 H20、CFG=2、TP=4 下,延遲由 2.46 秒降至 1.18 秒;模擬的八張 A100 強化學習 rollout,則把每步時間降低 26.5%,推算訓練吞吐量提高約 1.36 倍。效能剖析也顯示,π0.5 的 action expert 在 batch 1 僅占 8.8% FLOPs,卻占 57.2% 延遲,說明只看計算量會誤判具身模型瓶頸。
團隊另提出 control-time Roofline:若推論已比機器人執行當前動作更快,繼續縮短延遲不一定提高控制頻率,而可能只增加時序裕量或單卡可服務的策略數。這是比單純 tokens/s 更適合控制系統的衡量方式。不過作者承認專用 runtime 在若干配置仍較快,部分官方基線也未做到完全相同精度;RLinf 整合目前仍是模擬結果。下一步應觀察真實機器人端到端延遲、動作品質是否與官方實作一致,以及量化和多租戶排程能否維持控制穩定性。