MiniCPM-Robot、ストリーミング視覚記憶と行動モデルを1.5Bに圧縮し、Go2のオンデバイス展開手順も整備

OpenBMBは7月19日にMiniCPM-Robotを初公開し、直近2日間にわたりモデルカードとデプロイ関連資料の更新を続けている。このシリーズにはMiniCPM-RobotManipとMiniCPM-RobotTrackが含まれる。前者は1.5Bパラメータの汎用Vision-Language-Action（VLA）モデルで、同一の重みを用いてシミュレーション環境と実機の両方の操作をカバーする。後者は0.9Bの追跡ポリシーで、静止、移動、敵対的な目標を対象に設計されている。コードと重みはApache-2.0ライセンスで提供される。

RobotManipの要点は、単にパラメータ数を削減したことではなく、制御サイクルごとに履歴全体を再エンコードする処理を回避した点にある。公式説明によると、60フレームを保持する場合、従来の再計算方式では1回の意思決定に約125 TFLOPsを要するが、ストリーミング推論では3.3 TFLOPsまで低下する。フレーム当たりの視覚token数も256から64に圧縮されている。モデルは約1分間の視覚記憶を維持でき、H100、BF16、単一フレーム設定では、モデルのforward passのレイテンシは120ミリ秒となる。ただし、この数値には自己回帰的な行動デコードが含まれておらず、制御処理全体のレイテンシと直接みなすことはできない。

付随するPhyAIは、CUDA GraphとTriton融合カーネルにより、H20上の推論周波数を10 Hzから公式発表値の37 Hzまで引き上げる。RobotTrackについては、Unitree Go2 EDU、Jetson Orin NX 16GB、TensorRT 10.7、ROS 2 Humbleを使用したデプロイ手順が用意されており、エンドツーエンドのレイテンシは約180ミリ秒、処理速度は5 FPS超とされる。デフォルトでdry-runが設定されていることも、実機制御をオフラインスコアだけで評価できない現実を反映している。

今後、エンジニアリングチームが注目すべき点は3つある。第三者がLIBERO、RoboTwin2、EVT-Benchの成績を再現できるか、遮蔽、フレームドロップ、長時間動作の際にストリーミング状態がドリフトしないか、そして同じポリシーを異なるカメラ、関節、制御周波数へ移植した場合に、どの程度の再蒸留またはfine-tuningが必要になるかだ。現段階の成果は、ハードウェアをまたいで動作する汎用ロボットブレインとして検証済みというより、実験可能な低レイテンシのベースラインと位置付ける方が適切だ。