DARTree、先にツリーをバッチ構築してから枝刈り、Qwen3-4Bのデコード速度はローカルARの最大9.73倍

DARTreeが解決しようとしているのは、拡散型投機的デコーディングにおけるジレンマだ。DFlash系のドラフトモデルは16-tokenブロック全体を一度に予測できるため高速だが、ブロック内ですでに選択されたtokenに応じて後続の分布を調整しない。一方、Dominoは自己回帰補正ヘッドを追加することで因果的条件付けを復元できるものの、ノードごとにbest-first探索を実行すると、補正ヘッドが再び逐次処理に戻ってしまう。

新手法では、ツリーの深さに沿って、すべてのアクティブな分岐を層ごとにバッチ処理する。まずブロックドラフターが共有表現を生成し、各位置で上位64候補を保持する。続いて既存のDomino補正ヘッドが各分岐のprefixに基づいて再スコアリングを行う。各層では固定幅を維持し、最終的な検証ツリーよりも大きなsupertreeを形成する。構築完了後、システムは累積対数確率と深さペナルティに基づき、最高スコアの64ノードを一括で抽出する。深さ報酬が正でない場合、このノード集合がprefix-closedであり、実体化済みツリー上でheap選択を逐次実行することと等価であると著者らは証明している。このため、対象モデルはtree attentionを用いて一度に検証できる。

著者らは、Qwen3-4BおよびQwen3-8Bと、temperature 0および1を組み合わせた4設定で、GSM8K、MATH-500、AIME 2025、HumanEval、MBPP、MT-Bench、Alpacaを評価した。Qwen3-4B、temperature 0では、全体の平均高速化率が6.99倍となり、DFlashの4.58倍、Dominoの5.17倍を上回った。GSM8Kでは1ラウンド当たり12.97 tokenを受理し、9.73倍の高速化を達成した。結果は対象モデルの出力分布を維持しているが、すべてのワークロードがピーク性能に近づくわけではない。チャットタスクでの向上幅は小さく、AIMEのある設定ではDDTreeよりもわずかに遅かった。すべてのレイテンシ測定はbatch size 1、最大2,048 tokenの生成、単一のRTX 6000 Adaという条件で行われており、高並行処理、長いprompt、データセンター規模のサービスはまだ対象としていない。DARTreeの実装も公開されていないため、エンジニアリングチームは、再現可能なコア統合とメモリコストに関するデータを引き続き待つ必要がある。