DeepSeek 開源 DeepInfer 推論引擎，支援兩類加速器但仍須補齊服務層

DeepSeek 於 10 月 20 日公開 DeepInfer，將其宣稱用於大規模正式服務的推論引擎釋出。目前支援 DeepSeek-V4.1-Flash，硬體限 NVIDIA SM100 GPU 與華為 Ascend 950 NPU；這次發布讓開發者能直接檢視模型專用的執行與排程設計。官方儲存庫

技術重點包括 DSpark 推測解碼，利用草稿 token 與信心估計安排驗證；非同步排程則讓 CPU 批次排程與裝置運算重疊。引擎另提供受限解碼，可依正規表示式、JSON Schema 或 EBNF 文法限制輸出，對需要穩定解析工具參數的代理系統具有實際用途。功能與設定

部署邊界同樣關鍵。README 明列，本次提供離線推論，尚未包含完整服務所需的 KV 快取系統、預填與解碼分離，以及跨資料平行副本的負載平衡。因此，工程團隊仍須評估請求路由、快取生命週期與尖峰流量處理，不能只根據核心執行速度估算上線成本。部署範圍

配套的 deepseek-recipe 處理另一個容易影響重現結果的環節：將 Messages、Chat Completions、Responses 請求轉成統一對話格式，再編碼成提示或 token，並解析模型輸出。官方模型卡說明，模型未附 Jinja 格式聊天模板；正式部署可使用這套 Rust 函式庫與 Python 綁定，但推論、工具執行與 HTTP 傳輸仍由呼叫端負責。模型卡

從工程角度看，這次開源的價值在於讓模型運算與協定轉換都有可檢查的實作。接下來應觀察社群能否在固定提示格式、併發量與硬體條件下重現效能，以及補齊服務層後的延遲與成本。現有速度資料仍屬官方測量，不能直接推定一般機群也有相同收益；引擎的 Apache 2.0 授權與模型權重的 MIT 授權也應分別核對。引擎說明、權重授權