推論系統
llama.cpp b10731、Qwen3.8-Flash-Nextにリカレント状態のロールバックを追加—MTP投機的デコーディングで状態全体の反復転送が不要に
llama.cppは、Qwen3.8-Flash-Nextでドラフトtokenが拒否された際にSSMと畳み込み状態を正しくロールバックできない問題を修正した。RTX PRO 6000を1基使用したテストでは、コードのデコード性能が123 token/sから183 token/sに向上したが、この結果は特定の量子化方式、ドラフトヘッド、単一ワークスロットに限られる。