XCoT-VLA、2〜6個のアクショントークンで自動運転の推論を圧縮、H100での推論レイテンシは最短38.6ミリ秒

XPengの研究チームはXCoT-VLAを公開し、視覚・言語・行動モデルが抱えるエンジニアリング上の矛盾の解消を試みた。自然言語推論はシーンや因果関係を表現できる一方、トークン単位の逐次デコードをリアルタイムのプランニング周期に収めるのは難しい。新手法では、推論理由を`LEFT_TURN_PREPARE`、`DECELERATE`、`RED_LIGHT_HOLD`など、有限語彙からなる2〜6個のトークンに圧縮する。これらをattention context内に保持し、固定されたtrajectory queryを直接条件付けする。

アーキテクチャはマルチモーダルself-attentionを共有する一方、決定論的ルーティングにより、推論トークンをReason FFNへ、trajectory queryをControl FFNへ送る。これにより、推論のfine-tuningが制御表現を損なうことを防ぐ。制御側は離散的な運転指令を出力するのではなく、conditional flow matchingを用いて、将来24ステップの縦加速度とヨー変化を予測し、それらを積分して6秒間の軌跡を生成する。学習データは計362万件で、自動ラベル付けされた走行記録310万件、人手によるアノテーション20万件、ターゲットマイニングされた車線変更事例32万件で構成される。

一般分布テストでは、縦方向ADEが1.645メートルから1.323メートルへ低下した。車線変更のablation studyでは、横方向FDEが1.616メートルから1.112メートルへ低下し、XCoTを単独で追加しただけでも25.1%の削減となった。著者らがH100で測定したinter-token latencyは3.25ミリ秒だった。2K〜6Kの入力では、XCoTの推論レイテンシは38.6〜66.3ミリ秒と推定され、12 Hzプランニングの83.3ミリ秒という時間予算を下回る。一方、80-tokenのテキストCoTでは279.1〜306.8ミリ秒を要した。

これらの数値を、量産車の安全性やend-to-end latencyとして直接解釈することはできない。試験で評価されたのはオープンループの軌跡誤差のみで、レイテンシには知覚の前処理、軌跡の後処理、スケジューリングが含まれていない。論文で提案されたXCPOのreinforcement learning段階についても定量評価は示されていない。モデル、データ、コードはまだ公開されておらず、長期的な縦方向誤差は純粋な軌跡ベースラインよりも依然としてわずかに悪い。今後は、実際の車載チップ上におけるスタック全体のレイテンシに加え、衝突、ドライバー介入、交通違反、快適性、ルート完了率などのクローズドループ評価結果を注視する必要がある。