FLUX 3 Actionの重みを公開、動画と動作を同時にデノイズ

Black Forest Labsは9月23日、FLUX 3 Actionを発表し、70億パラメータのワールドアクションモデルの重みと学習コードを公開した。DROIDおよびSO-101ロボットアーム向けのポリシーの重みも提供する。モデルはカメラ画像、現在の状態、テキスト指示を受け取り、その後の動作と視覚的な結果を同時に予測する。開発者はデモンストレーションデータを使い、特定のタスクに合わせてモデルを調整できる。[公式発表](https://huggingface.co/blog/black-forest-labs/flux-3-action)

アーキテクチャには拡散Transformerを採用し、動画と動作を同一シーケンスに配置して同時にデノイズする。凍結された動画VAEが画像のエンコードを担い、テキスト条件は凍結されたQwen3-VL-4Bでエンコードする。ロボットの形態ごとに専用の動作入力投影層と出力層を使用するため、ロボットアームを変更する際には、関節の定義、状態値の単位、カメラ構成を整合させる必要がある。ベクトルの長さをそろえるだけでは不十分だ。[アーキテクチャの説明](https://huggingface.co/blog/black-forest-labs/flux-3-action)、[ファインチューニング用データの仕様](https://docs.bfl.ai/flux_3/flux3_action_finetuning)

RoboLab-120の公開リーダーボードでは、1,200回の試行中515回成功し、成功率は約42.9%と、同じ表に掲載されたCosmos3-Nano-Policyの36.8%を上回った。ただし、これはシミュレーション上のベンチマークだ。複雑なタスク群でのFLUXの成功率は28.2%で、すべてのモデルを上回っているわけではない。総合順位だけでは、あらゆる種類の操作、実環境、導入コストで優位にあるとはいえない。[RoboLabリーダーボード](https://research.nvidia.com/labs/srl/projects/robolab/leaderboard.html)

実際の制御では、「どこまで先を予測するか」と「計算が終わるまでにどれだけ時間がかかるか」を区別する必要がある。DROIDはデフォルトで毎回32個の動作を生成して実行し、15 Hzでは約2.13秒分に相当する。SO-101の単独実行設定では42個の動作を生成し、そのうち32個を実行するため、30 Hzでは約1.07秒後に再計画する。これらの時間にはモデルの計算時間が含まれず、推論レイテンシとみなすことはできない。[制御ループのドキュメント](https://docs.bfl.ai/flux_3/flux3_action_inference)

ドキュメントによると、新しい観測は次の計画にのみ反映され、キュー内の未実行コマンドを置き換えることはない。同期推論によって制御周期に遅れが生じる可能性があり、カメラ画像の取得、コマンドの実行、スケジューリングは引き続きアプリケーション側が担う。公式の実機動画は4倍速で再生され、計画中の停止時間もカットされている。開発チームはデモ映像からリアルタイム性を推測するのではなく、未編集の動作プロセスで応答時間を測定すべきだ。[実行上の制約](https://docs.bfl.ai/flux_3/flux3_action_inference)、[デモの条件](https://huggingface.co/blog/black-forest-labs/flux-3-action)

公開コードはフルファインチューニング、学習再開、エクスポートの手順を提供し、SO-101のタスク向けLoRAはLeRobotとの統合を通じて利用する。これにより研究者は制御パイプラインを検証し、モデルの能力と実行スケジューリングに起因する失敗を分けて評価できる。今後の注目点は、各重みバージョンの成功率と制御レイテンシを再現できるか、そして新しい場面で失敗からどの程度復帰できるかだ。コードにはApache-2.0、モデルの重みには別途FLUX Kommunity Licenseが適用される。商用利用や派生モデルでの利用については、重みのライセンス条項を確認する必要がある。[コードリポジトリ](https://github.com/black-forest-labs/flux-action)、[重みのライセンス](https://huggingface.co/black-forest-labs/flux-3-action-base/blob/main/LICENSE.md)