Show-Harness、離散的な意味行動で異なるロボットを制御、10タスクで成功率89％を達成

Show Labは、視覚言語モデルとロボットの間のインターフェースを、`MV_LEFT`、`MV_UP`、`GRASP`、`RELEASE`、`DONE`といった、人間が読める離散行動の集合へと縮約する[Show-Harness](https://arxiv.org/abs/2609.10522)を公開した。モデルは各ステップで、複数視点の画像、固有受容状態、短期的な行動履歴に基づいてシンボルを1つ選択する。その後、ロボット固有のインタープリターが、そのシンボルをデカルト座標系での変位、回転、またはグリッパーコマンドへ決定論的にマッピングする。Franka、AgileX、シミュレーターを切り替えても、モデルから見える語彙は変わらず、実際のステップ幅や安全高さは制御層で調整される。

この設計は、高レベルのプログラムエージェントとEnd-to-EndのVLAの中間に位置する。VLMは引き続き物理行動を逐次決定するが、高次元の連続制御値を直接回帰する必要はない。システムは同時に2つの経路を提供する。1つは最先端のVLMを直接呼び出してゼロショット制御を行う方法、もう1つはGUMIのグラフィカルインターフェースを使ってキーボード操作またはエージェントによるデモンストレーションを収集し、小規模なオープンVLMをLoRAでファインチューニングする方法だ。論文では、164件の実機エピソード、約7,800の意思決定ステップを使って学習し、Qwen 3.5 2Bでは約3％のパラメーターのみを更新した。また、230件のシミュレーションエピソードを用いてsim-to-realを評価した。

10種類の実機ピック＆プレースタスクでは、ゼロショットのGemini 3.1 Proが成功率89％、ファインチューニングしたQwen 3.5 2Bが86％を記録し、最良の比較ベースラインは57％だった。FrankaとAgileXをまたぐ評価結果は、それぞれ93％、87％、52％だった。[プロジェクトページ](https://showlab.github.io/Show-Harness/)では、複数視点プロンプト、サブタスク計画、固有受容のいずれかを除去すると、それぞれ38、36、28ポイント低下することも報告されている。これは、成果が行動tokenという単一の手法ではなく、完全なharnessによって得られていることを示す。

[公開コード](https://github.com/showlab/Show-Harness)には、実機およびシミュレーションの設定、LoRAサービスのワークフロー、安全下限が含まれている。ただし著者らは、導入者に対し、自身のロボットアームの軸方向、初期姿勢、高さ制限を改めて計測するよう明確に求めている。各タスクの試行回数は通常わずか10回で、評価範囲も主に5種類の物体と2種類の容器を用いた卓上ピック＆プレースに限られる。より長いタスク、接触を多く伴う操作、センサー障害、研究室をまたいだ再現性が、次に取り組むべき本格的な信頼性評価となる。