Grabette、低コストのロボット実演データ収集デバイスをオープンソース化――手作業をLeRobotデータセットに変換

Pollen Roboticsは、実環境におけるロボット操作データ収集のハードルを下げることを目指し、Grabetteをオープンソース化した。従来、実演データの収集にはロボットアーム、遠隔操作装置、研究室レベルのシステム統合が必要になることが多かった。Grabetteはその代わりに、人が手で操作するグリッパー、Raspberry Pi、魚眼カメラ、OAK-D RGBDカメラ、IMU、磁気エンコーダーを使用し、映像、深度、慣性情報、グリッパーの状態を同期して記録する。公式試算によると、ハンドヘルドデバイスの部品コストは約490ユーロで、ロボットアーム側に取り付ける対応電動グリッパー「Gripette」は約120ユーロとなる。

2台のカメラには明確な役割分担がある。低価格の魚眼カメラは、手首カメラに近い広角視野を提供し、RGBDカメラはより堅牢な6自由度トラッキングを担う。収録後、ユーザーはブラウザ上でepisodeを選択できる。データはHubにアップロードされ、RTAB-MAPがSLAMを実行して軌跡のジャンプやロストを検査した後、LeRobot形式に変換する。データは、カメラのローカル座標系における6自由度のデカルト姿勢とグリッパー状態として保存され、特定のロボットアームには依存しない。

チームは、カップを把持する200件の実演データを使い、単一のコンシューマー向けGPUで実行可能なDiffusion Policyを学習させた。また、7自由度のOpenArmとGripetteを組み合わせ、クローズドループでの実行を実演している。ただし、これはあくまで実現可能性を示す事例であり、Grabetteが高精度なタスク、接触の多いタスク、高速なタスクに適していることを証明するものではない。SLAMドリフト、時刻同期、カメラのオクルージョン、人間とロボットの運動学的差異はいずれも、学習データに影響を及ぼす可能性がある。今後の価値は、ハードウェアキャリブレーションの再現性、データ品質のラベリング、そしてコミュニティが収集したデータを異なるロボットアーム間で安定して転移できるかどうかに左右される。