EXIMO、VLMオーケストレーションによる探索を3B VLAへ再蒸留し、追加の遠隔操作デモを不要に

Google DeepMindが提案した[EXIMO](https://arxiv.org/abs/2608.19891)は、ロボットを新しいタスクへ適応させるプロセスをExplore、Imitate、Optimizeの3段階に分け、遠隔操作データを追加せずに大規模な視覚・言語・行動モデル（VLA）をファインチューニングすることを目指す。実験の基盤モデルには、30億パラメータのGemini Robotics On-Device（GROD）を使用した。GRODはピックやプレースなどの基本スキルを備えているものの、「サルが好む果物をボウルに入れる」といった、常識や複数ステップの組み合わせを必要とする指示には失敗する。

探索段階では、より強力なVLMを閉ループのオーケストレーターとして追加する。VLMは場面の画像とタスク履歴を定期的に確認し、高レベルの目標をGRODが直接理解できる短期的な自然言語指示へ書き換えるほか、実行状況に応じて再計画することもできる。環境のグラウンドトゥルース成功検出器は、完了したロールアウトだけを保持し、新たな教師ありデータを生成する。

模倣段階では、デプロイ時にVLMを呼び出し続ける必要はない。代わりに、GRODが元の高レベル目標を条件として成功軌跡を学習し、オーケストレーターの分解能力を単一のVLAへ蒸留する。最後にEXIMOは、大規模VLAの主要な行動出力を固定し、MPOでより小さな残差ポリシーを学習して、元の行動に対する補正量を出力する。これにより、拡散ベースのアクションヘッドへ直接強化学習を適用する高いコストを回避できる。また、すでにゼロではない成功率を持つポリシーを、より優れた探索の出発点として利用できる。

論文では、ALOHAシミュレーター上の22種類の操作タスクを対象に、各手法につき1,000エピソードを用いて探索と蒸留を比較した。オンラインRLの評価では20種類のタスクを集約し、5つのランダムシードを使用した。著者らによると、3段階を組み合わせた手法は、成功率、達成時間、環境ステップ数のすべてにおいて、オーケストレーションを行わないGRODと、基盤GRODに対してRLをより長時間実行した対照手法を上回った。[GRODの公式情報](https://deepmind.google/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/)によれば、元のモデル自体がオンデバイス推論と迅速な適応を目的に設計されている。EXIMOの新規性は、VLMを用いて新しいタスクのデータを自律的に収集し、それを蒸留する点にある。ただし、実験はすべてシミュレーター上で行われ、ノイズのない成功判定とリセット機構に依存しているうえ、コードもまだ公開されていない。今後の焦点は、実機でのサンプル効率、失敗軌跡の安全性、そしてグラウンドトゥルース検出器をVLMによる評価へ置き換えた場合に、どの程度の誤差が蓄積するかである。