OpenVINO 2026.4 將多 token 草稿解碼帶到 CPU、GPU，並統一 NPU 效能追蹤

Intel 旗下開源推論工具 OpenVINO 在 9 月 16 日發布 2026.4。這次的核心並非單純增加模型清單，而是把更多生成式 AI 最佳化下放到一般 CPU、整合式 GPU 與 NPU：OpenVINO GenAI 現為 Gemma 4、Qwen3.5、Qwen3.6 提供 Multi-Token Prediction（MTP）推測解碼，讓草稿端一次提出多個候選 token，再由主模型驗證；Qwen GPU 路徑另加入預覽版 DFlash，EAGLE-3 視覺語言模型則可用 Top-K tree drafting，取代只保留單一路徑的 chain drafting。[正式版本說明](https://docs.openvino.ai/2026/about-openvino/release-notes-openvino.html)宣稱可改善吞吐與延遲，但未附跨硬體、跨上下文長度的完整數據。

硬體覆蓋也明顯擴張。CPU 新增 Gemma-3n；CPU、GPU 路徑加入 Qwen3-VL-4B、Qwen3-ASR、Muse Glimmer 30B、Qwen3.8 27B、Gemma 4 12B、DeepSeek OCR-2 等模型；NPU 則新增 FLUX.2-Klein 4B 與 Kokoro-82M。Xe3 整合式 GPU獲得 Gemma 4 長上下文最佳化，NPU 可處理 Qwen3-30B-A3B、Gemma4-26B-A4B 等 MoE 模型的 1K 至 32K 提示，並把 Instrumentation and Tracing Technology 擴展至 NPU，使 VTune 能以同一工具鏈觀察三類處理器。

伺服與 API 層也有實際遷移點。Node.js 新增具串流與效能指標的 `ASRPipeline`；Model Server 可在閒置時卸載模型以降低記憶體占用，但仍屬預覽。Python 的 `AsyncInferQueue` 修補回呼清理時可能死鎖的問題，C API 增加非 variadic 屬性設定函式並修正匯入超過 2 GB blob 的失敗。正式套件已可透過 `pip install openvino==2026.4.0` 取得，[GitHub 發布頁](https://github.com/openvinotoolkit/openvino/releases/tag/2026.4.0)則確認版本與簽署提交。

部署者不應把「支援」直接解讀為所有硬體都有相同成熟度。NPU 動態形狀目前只驗證有上下界的視覺模型；DFlash、視覺 token 與閒置卸載仍是預覽。團隊應以自己的提示長度、量化格式及併發度量測 TTFT、TPOT、峰值記憶體與接受率，並注意專案正考慮在 27.0 將預設編譯標準改為 C++20，舊工具鏈與自製外掛可能需要提前調整。