FLUX-mimic、動画生成バックボーンでロボットの動作を予測——RTX 5090 1基で応答時間を101ミリ秒に短縮

Black Forest Labsとmimic roboticsはFLUX-mimicを発表し、動画生成から学習した物理ダイナミクスをロボット制御へ直接転用することを試みている。基盤となるFLUX 3は、当初から画像、動画、音声を共同学習している。チームはそこにアクションモダリティを追加し、人間の作業動画、ウェアラブルデバイスによるデモンストレーション、遠隔操作、実環境への導入から得たデータを用いて、ロボット能力を強化した。BFLによると、アクション予測を追加した初期段階では動画品質が最大10%低下したものの、約3,500トレーニングステップ後には元の水準まで回復した。これは、コンテンツ生成能力を長期的に犠牲にすることなく、生成と制御で同一のバックボーンを共有できる可能性を示している。

推論時に、システムが完全な動画を生成してから動作を解析する必要はない。FLUX 3のバックボーンがシーンの変化を予測し、コンパクトなアクションデコーダーがその潜在表現を直接読み取り、デノイジングによって一連のロボット動作を生成する。世界モデルで必要なのは1回のフォワードパスだけだ。mimicはセンサー、モデル、アクチュエーターのパイプラインもオーバーラップさせて実行しており、バックボーンの処理時間はRTX 5090 1基で80ミリ秒未満、システム全体の応答時間は101ミリ秒だとしている。

実機ロボットによる柔軟物体の仕分けタスクでは、プレビュー版が単一タスク向けのファインチューニングなしで完了率95%を達成した。チームが挙げた比較ベースラインは、同チームのデータで調整したπ0.5が55%、このタスク向けに大規模なポストトレーニングを施したflow-matching policyが70%だった。Audiも、車両ドアの組み立て、シーリングストリップ、ケーブルの取り扱いなどのユースケースでテストを進めている。

この取り組みが注目される理由は、アクションラベルのない大量の人間動画をロボット向けデータパイプラインに組み込み、高コストな遠隔操作デモンストレーションへの依存を減らしている点にある。ただし、成功率、比較条件、「導入」に関する説明はいずれも共同開発チームによるもので、重み、トレーニングデータ、試行回数、複数のロボットにまたがる結果はまだ公開されていない。今後は、独立した評価、異なるハードウェア、分布外タスクでも信頼性を維持できるか、また障害発生時に検証可能な安全停止機構を備えているかを見極める必要がある。