GlanceWAM、視覚的先読みを制御のクリティカルパスから分離し、アクションのデコードをチャンク当たり48ミリ秒に短縮

研究チームは8月25日、世界—アクションモデルが抱えるレイテンシー上のジレンマを解決する試みとしてGlanceWAMを発表した。各制御サイクルで動画拡散モデルを使って未来のフレームを生成すると、サンプリングがロボットの動作をブロックする。一方、推論時の先読みを完全に取り除くと、明示的な視覚サブゴールが失われる。新手法は、同じ13億パラメータのSkyReels-V2-DF動画DiT内で2つの時間軸を分離する。バックグラウンドのプロポーザーは約3秒ごとに未来状態を1つ予測し、アクションヘッドは0.8秒ごとに16制御ステップを含むaction chunkを生成する。

鍵となるのは、先読み結果をRGBへデコードせず、動画VAEの潜在空間に保持したまま、後続のアクションヘッドの条件として直接使用する点だ。モデルは3種類のprefix-LMアテンションマスクを用い、クリーンな先読みtokenが観測表現や動画生成表現を汚染するのを防ぐ。さらに訓練時には、先読み区間全体から時間オフセットをランダムにサンプリングし、残りのオフセット量をアクションヘッドへ明示的に入力する。これにより、同じ先読み表現が徐々に古くなっても、ポリシーは調整を続けられる。著者らはまた、10%の確率で先読みtokenをドロップし、先読みの欠落や不正確さに対する脆弱性を軽減している。

論文では、RoboCasaの24種類のキッチンタスクで72.2%の成功率を報告しており、同期型Cosmos Policyの67.1%および推論時の先読みを使用しないバージョンの64.4%を上回った。LIBEROでのスコアは99.0%だった。単一のA100上でのアクションデコード時間はチャンク当たり48ミリ秒で、著者らは同期型ベースラインより24倍高速だとしている。コード、データ、チェックポイントはMIT Licenseで公開済みで、再現用パッケージの容量は約21GB。リポジトリには、RoboCasaではポリシーの乱数seedが固定されておらず、再実行時に約±0.02の変動があるとの注意書きもある。

48ミリ秒という数値が示すのはアクションのクリティカルパスだけであり、バックグラウンドの拡散処理は依然として計算資源を消費する。デプロイには並列workerまたは追加のGPUが必要になる可能性がある。評価はすべてシミュレーター上で実施されており、ネットワークレイテンシー、センサーノイズ、突発的な環境変化が存在する状況での実機の安全性はまだ実証されていない。次の段階では、バックグラウンドのプロポーザーを含む総消費電力とハードウェア要件を比較し、先読みが大きく外れた場合に適時フォールバックできるかを検証すべきだ。