PhyAI、ロボットモデルのクラウド／エッジ推論を統合、4種類のVLAを最大4.65倍高速化

ロボット開発チームは通常、同じ重みとアクションセマンティクスを使用している場合でも、訓練rollout、オフライン評価、エッジGPU、オンボード制御向けに異なる推論プログラムを保守している。8月4日に提出されたPhyAIは、これらの経路をlatency-first runtimeへ統合しようとするものだ。モデル固有の条件入力、solver、キャッシュ、出力ロジックはadapterに残し、グラフ実行、kernel、メモリ管理、分散サービスは共通化する。

現在、このライブラリはπ0、π0.5、GR00T N1.7、MiniCPM-RobotなどのVision-Language-Actionモデルに加え、Cosmos3シリーズのWorld-Actionモデルをサポートしている。Jetson、単一GPU、クラスター上で実行でき、data parallelism、tensor parallelism、classifier-free guidance parallelismも提供する。プロジェクトではFlashInferやHummingなどのkernelを使用しており、リポジトリにはW4A8、W8A8、W8A16の量子化パスも記載されているが、その一部はまだレビュー中だ。

作者らの報告によると、PhyAIは4種類のVLAで公式実装の1.40～4.65倍の速度を達成した。Cosmos3-Nano-Policy-DROIDでは、H20を8基使用し、CFG=2、TP=4とした場合、レイテンシが2.46秒から1.18秒へ短縮された。プロファイリング結果は、ボトルネックをFLOPsだけで判断できないことも示している。π0.5のaction expertは、Hopper、batch 1ではFLOPsのわずか8.8%しか占めないにもかかわらず、レイテンシの57.2%を占めた。batch 32まで増やして初めて、そのレイテンシ比率は13.5%に低下した。

この取り組みの重要性は、単一箇所の高速化だけにあるのではなく、モデルを研究環境からロボットハードウェアへ移行する際の実行差異を減らす点にある。チームはcontrol-time Rooflineを提案し、制御ループがモデル推論と物理環境のどちらによって制約されているかを区別する。LIBEROを用いた実験では、π0.5はすでに環境律速となっている一方、Cosmos3は依然として推論律速だった。エンジニアが今後注視すべき点は、量子化機能のマージ状況、非NVIDIAバックエンド、実機ロボットにおけるジッターとtail latency、そして論文で示された数値を公式baseline以外でも独立に再現できるかどうかだ。