ホームへ戻る

機器人與實體 AI

Microduck、完全なsim-to-real強化学習スタックを公開—25cmの二足歩行ロボットがONNXで方策を実行

Pollen Roboticsは、Microduckの制御ランタイム、MuJoCoシミュレーション環境、PPOの学習レシピ、7種類のプリインストール済み方策をApache 2.0で公開した。399ドルの予約価格は実機強化学習への参入障壁を下げる一方、方策の汎化性能、ハードウェアの耐久性、量産・出荷については、今後コミュニティによる検証が必要となる。

御門桜 · CC BY-SA 3.0 · Image source
zh-Hant

Hugging Face傘下のPollen Roboticsは、高さ25cm、重量約800gの二足歩行ロボット「Microduck」を発表した。15基のモーター、カメラ、LiDAR、2組のIMUに加え、Wi-Fi、Bluetooth、NFCを搭載する。公開されるのは高レベルSDKだけではない。デバイス側のRustプログラム、MuJoCoモデル、PPO学習環境、domain randomization、ONNXエクスポート、プリインストール済みの動作方策もGitHubで公開され、Apache 2.0ライセンスが適用されている。

デバイスの中核にはRockchip RK3566を採用し、ニューラル方策がローカルで50Hzの周期でサーボを制御する。`robotd`は制御ループとモーターバスを担い、`mediad`はWebRTC経由でカメラ映像を配信する。Bluetooth、設定、深度センシング、アップデートは、それぞれ独立したdaemonが管理する。各コンポーネントはUnix socket上のJSON-RPCを介して通信する。アップデートシステムには署名検証、ヘルスチェック、ロールバック機能が備わっており、単なるデモ用notebookの公開よりも、長期的に改変できる実機プラットフォームに近い。

学習側ではMuJoCo Warpを使用し、多数の環境を並列実行する。公式サンプルによると、4,096環境で実用的な歩容を学習するには約1〜2時間かかり、その後ONNXとしてエクスポートしてロボット上で実行する。シミュレーションには、バッテリー電圧と電圧降下、コマンド遅延、摩擦、アクチュエーターの逆起電力、ギアのバックラッシュに対するランダム化が組み込まれている。バックラッシュ対応版では、追加の受動関節を使い、各サーボに約±1度の遊びがある状態をモデル化する。複数の歩行、転倒復帰、着座・起立、物体の拾い上げ、ボールキック、ローラーシューズ向けの各方策は共通の61次元観測インターフェースを使用し、実行時にホットスワップできる。

Microduckの価値は、かわいらしい外観だけでなく、比較的低価格で、シミュレーションから実機までを追跡可能な研究用ベースラインを提供する点にある。ただし、「完全なオープンソース」であることは、sim-to-real問題が解決済みであることを意味しない。公式デモの中心は事前定義された運動スキルであり、未知の路面、ハードウェアの経年劣化、衝突、長時間稼働といった条件下でも安定性を維持できることは、まだ実証されていない。初回ロットは依然として予約販売の段階にある。今後、研究者は量産個体間のばらつき、方策交換フォーマットの互換性が維持されるか、そしてシミュレーター全体を再調整せずにコミュニティが新たなスキルを再現できるかを注視する必要がある。

出典

  1. Microduck — A tiny biped robot you can teach new tricks
  2. pollen-robotics/microduck
  3. pollen-robotics/microduck_rl