xPress、拡散型ドラフトに因果関係を復元し、Qwen3-8Bのデコードスループットを平均約1.3倍に向上

投機的デコーディングでは、まず小規模なdrafterが複数のtokenを提案し、それをターゲットモデルが一度に検証する。ドラフト分布が正しければ、ターゲットモデルの出力を変えることなくデコーディングを高速化できる。DFlashなどのブロック拡散手法はさらに、ドラフト全体を1回のforward passで生成するが、最後のdenoisingでは各位置が独立にサンプリングされる。それぞれのtokenは高い確率を持っていても、組み合わせたシーケンスが自己回帰型ターゲットモデルの条件付き分布に適合するとは限らず、検証時に冒頭の数位置で後続のドラフトが棄却される原因となる。

8月3日に公開されたxPressは、拡散drafterの後段に軽量なcausal refinerを追加する。tokenごとに自己回帰ループを再実行するのではなく、ドラフトブロック全体を一度に並列処理し、前方の位置から後方の位置への依存関係を伝播させたうえで、リファインされたシーケンスをターゲットモデルによる検証に渡す。つまり、この追加モジュールは、ブロック拡散の最終サンプリング段階で失われた同時分布の構造を復元しつつ、ドラフトを並列生成することによる主要な速度上の利点を維持しようとするものだ。

著者らは、Qwen3-8Bを使用して数学、コーディング、対話など7種類のベンチマークで評価し、元のDFlashと比べて平均受理長が約30％、最大56％向上したと報告している。エンドツーエンドのデコードスループットは平均約1.3倍、最大1.7倍に達したという。この結果は、ドラフトモデル単体の局所的な速度を改善するだけでは不十分であることも示している。システム全体の実効的な性能向上を左右するのは、ターゲットモデルが連続して受理できるtoken数と、追加されたリファインメント層のコストを検証ラウンドの削減によって相殺できるかどうかである。

現段階の結果は単一の8Bターゲットモデルのみを対象としており、論文ページにもxPressのコードやweightsへのリンクはない。そのため、異なるbatch size、long context、量子化モデル、サービング時の並行処理における効果はまだ検証できない。エンジニアリングチームは特に、SGLang、vLLM、llama.cppとの統合データを待つべきだろう。causal refinerをターゲットモデルごとに再学習する必要がある場合、デプロイやモデルのバージョン管理にかかるコストが、高速化の価値の一部を相殺する可能性もある。