Ollamaのプレビュー版にDFlash2が登場、MLXの投機的デコードでネイティブMTP比14〜25%高速化

Ollamaは10月27日、前日にマージされたDFlash2対応をMLX推論バックエンドに追加したv0.40.12-rc0のプレビュー版を公開した。Appleチップ上でローカルモデルを実行する開発者にとって、今回の更新によりネイティブのマルチトークン予測（MTP）以外のデコード方式が加わる。確認時点で、このバージョンは引き続きプレリリースとして表示されていた。リリース告知

DFlash2は、ドラフトを並列生成するアーキテクチャに、ブロック内動的畳み込みと候補セレクターを追加する。前者は隣接位置間で局所情報をやり取りできるようにし、後者は直前に選ばれたトークンに基づいて次の位置の候補を再評価することで、ドラフト全体に一貫した依存関係を持たせる。ドラフト本体の生成に必要なのは引き続き1回の並列フォワード計算で、逐次的な選択はより小さなセレクターが担う。アーキテクチャ文書

Ollamaの実装は各ラウンドで7トークンを提案し、既存のスナップショット・ロールバック経路を使って検証する。ドラフトのサンプリングに適用されるのはリクエストのtemperatureのみで、top_k、top_p、min_p、履歴ペナルティは検証段階でターゲットモデルが処理する。候補分布も検証フローに渡される。この提案では、qwen3.5シリーズのターゲットモデルがDFlashドラフトを受け入れるようにし、重みを読み込む前に設定の次元をチェックする処理も追加された。マージ提案

性能テストでは、NVFP4量子化したqwen3.8:27bを使い、組み込みMTPとDFlash2を比較した。M5 Max、M5 Pro、M2 Ultraで、プロンプト長を2Kと32Kに設定した場合、メンテナーによると生成速度の倍率は1.14〜1.25だった。たとえばM5 Maxの2Kテストでは、毎秒57.0トークンから71.0トークンに向上した。テストではthinkingを有効にし、temperatureは1、top_pは0.95、top_kは20に設定した。それぞれの長さについて、16回と12回のリクエストの中央値を使用した。テスト結果

これらの結果は追加評価の根拠にはなるが、メンテナーが提供した限定的なサンプルにとどまる。エンジニアリングチームは今後、実際の中国語プロンプト、長い回答、異なるサンプリング設定を使い、受け入れ長、生成速度、追加のメモリコストを確認したうえで、安定版を待つ必要がある。また、推論対応と学習の再現性は区別すべきだ。Speculatorsの文書によると、公開されているDFlash2推論実装では学習目標が明らかにされておらず、その学習方式は依然として実験段階にある。学習に関する制約