Unsloth 0.1.806、MTP投機的デコーディングをデフォルトで有効化。Qwen3.8とGLM-5.3のローカル推論が最大2倍高速に

Unslothは0.1.806-betaをリリースし、Qwen3.8-Flash-NextとGLM-5.3-FlashにMTP（Multi-Token Prediction）投機的デコーディングをデフォルトで適用した。この方式では、追加のdraft headが後続する複数のtokenを一度に予測し、主モデルが1回のforward passで検証する。受理された候補はそのまま出力され、拒否された候補については主モデルの結果に戻る。検証後の出力は変わらず、主な利点は、tokenごとに主モデルを完全実行するコストを削減できる点にある。

Qwenのデプロイ文書では、容量が2.60 GBで、主モデルのembeddingと出力projectionを流用できるshared-Q8_0 draft headの使用を推奨している。これは独自のprojection layerを備えたバージョンより約1.3 GB小さい。同文書では、低並行時に約1.3～1.7倍の高速化が見込まれるとしており、`--spec-draft-n-max 2`を推奨している。draftを長くすると候補数は増えるものの、acceptance rateの低下によってかえって性能が悪化する可能性がある。これは、リリースタイトルの「最大2倍」を、あらゆるprompt、quantization format、並列負荷にそのまま当てはめられない理由でもある。

デプロイには依然として明確な制約がある。標準版llama.cppは、qwen4expのMTP graph、モデル間のtensor共有、および対応するパラメーターをまだ備えていない。ユーザーはUnslothのプリコンパイル版または同社のforkを使用するか、まだmergeされていないupstream PRを利用する必要がある。また、draft headはMTPサブディレクトリに配置されているため、`-md`で明示的に指定しなければならない。指定しない場合、警告なしで通常の速度にフォールバックする可能性がある。

同じリリースでは、Apple SiliconにおけるMLXの長い会話向けcache、モデル切り替え後のVRAM解放、マルチGPUの自動配置、ROCmのインストール、tool calling、MCP接続も改善された。ただし、これらの多くはベンダーによる説明に基づくため、エンジニアリングチームは、自社環境のcontext length、quantization、draft acceptance rate、time to first token、並行数を用いて改めて計測すべきだ。特に、単一worker slotでの高速化をサーバー全体のthroughput向上とみなすことはできない。