機器人與推論最佳化
QuantWAMs、世界行動モデルを主に4-bitで動作させ、対象モジュールのメモリ使用量をFP16の29％に削減へ
QuantWAMsは、将来の映像とロボットの行動を同時に生成するモデル向けに、量子化キャリブレーションを、構造、結合目的、閉ループ軌跡という3層の意思決定へと再設計した。2つのモデルのシミュレーション成功率はFP16との差が0.2～0.7パーセントポイントだったが、速度データは特定の演算モジュールのみが対象で、実機での比較も各タスク10回にとどまる。
世界行動モデル（World Action Model、WAM）は、動画生成器と行動ポリシーを同一の反復的なノイズ除去プロセスに組み込み、ロボットが将来の映像を予測すると同時に制御コマンドを生成できるようにする。この設計の難しさは、単にモデルが大きいことだけではない。各行動が次の反復の入力を変化させるため、初期の量子化誤差が閉ループ軌跡に沿って累積する可能性がある。そのため、単一画像の再構成誤差や開ループ出力でキャリブレーションする従来のPTQでは、実際のタスク成功率を維持できるとは限らない。
QuantWAMsは、量子化の意思決定を3つの部分に分ける。まず、座標系に互換性があるモジュール間でのみactivation統計を統合し、smoothingとHadamard rotationによって外れ値チャネルを処理する一方、少数の重要なチャネルはBF16のまま維持する。次に、動画と行動の結合勾配からempirical-Fisher saliencyを計算し、不安定な細粒度マスクではなく層全体を単位として、どの線形層をNVFP4 W4A4からFP8 W8A8へ昇格させるかを決定する。最後に、FP16モデルが実際に到達した閉ループ状態上で固定介入をリプレイし、全体の精度予算を増やすことなく、どのノイズ除去ステップにより高い精度が必要かを再配分する。
チームはFast-WAMとLingBot-VAで評価を行い、RoboTwin 2.0、LIBERO、およびAgiBot G2実機を対象とした。W4A4を主体とする構成のシミュレーション平均成功率は、FP16をわずか0.2～0.7パーセントポイント下回るにとどまった。対象となる動画・行動ブロックでは、重みとactivationを合わせたピークメモリ使用量がFP16の約29％となり、ブロック単位の速度は1.4～1.6倍に向上した。キャリブレーション、軌跡分析、スケジューリング検証、最終テストには互いに分離されたデータが使われており、テストセットへ直接ハイパーパラメータを合わせるリスクを抑えている。
ただし、これらの数値をロボット全体が1.6倍高速になったという意味に解釈することはできない。測定対象にはembedding、projection、VAE、およびその他の制御パイプラインが含まれていない。実機の3タスクはそれぞれ10回しか試行されておらず、QuantWAMsの平均成功率は56.7％、FP16は63.3％だったため、両者の同等性を証明するにはサンプル数が不足している。現段階の結果は、実現可能性を示す証拠と捉えるのが適切だ。今後は、コードとカーネルが完全に公開されるか、Blackwell以外のGPUへ移植できるか、さらに、あるタスク群でキャリブレーションした後も未見の操作へ汎化できるかを確認する必要がある。