Uno、離散拡散で自己回帰モデルを支援し、独立したドラフトモデルなしで並列デコードを実現

自己回帰言語モデルは、tokenを1つずつ生成しなければならない。Speculative Decoding（推測デコード）は大規模モデルの逐次ステップを減らせるものの、通常は別のドラフトモデルを訓練またはデプロイする必要がある。IFMなどの研究チームが提案したUnoは、代わりに「拡散支援型」アーキテクチャを採用する。既存のAR重みは引き続きnext-token predictionによって確率分布を定義し、もう一組の軽量な拡散重みが、候補token列を同時に提案するよう学習する。

結果が本当に等価かどうかを決めるのは、Ψ-Specサンプラーである。拡散経路が候補を提案し、AR経路がそれを検証または棄却する。そのため、論文がいうlosslessとは、最終的なサンプルが基盤となるARモデルの分布に引き続き従うことを意味する。実行のたびに同一のテキストが出力される保証ではなく、浮動小数点演算が完全に一致するという意味でもない。このシステムは、全体的なスループットを重視するlinear samplerと、単一リクエストの速度向上を目的とするtree samplerを提供する。

著者らは、テストした構成において、基盤となるARデコードと比べて最大3倍の高速化を報告している。また、すべてのバッチサイズで、比較対象としたSpeculative Decoding手法を上回るスループットを記録した。8B版は、エージェントによるツール利用、プログラミング、長いコンテキストの評価でも、著者らが選定したDiffusionGemma 26BとMercury 2を上回った。ただし、こうした精度比較は、同一コストまたは汎用的なサービス条件で全面的に優位であることを意味しない。

Apache-2.0ライセンスのリポジトリでは、Nano-vLLM派生の推論エンジン、訓練・評価パイプラインに加え、K2 Horizon 0.9B、7B、Qwen3 8B向けのレシピと公開checkpointがすでに提供されている。Qwen3の実装では、conditional LoRAによって拡散能力を追加しており、既存のオープンウェイトモデルを必ずしもゼロから事前学習する必要がないことを示している。

エンジニアリングチームは今後、異なるGPU、長い出力、高並行処理、量子化モデルにおけるΨ-Specのacceptance rate、KV cacheコスト、tail latencyを検証すべきだ。現在のインストール手順は、特定のPyTorch、CUDA、FlashAttentionの組み合わせに固定されている。また、主流のvLLMまたはSGLangによる本番デプロイへ直接統合できることも、まだ実証されていない。