Kimi K3.1 Pro 公開權重，vLLM 提供八 GPU 部署配方

Moonshot AI 已公開 Kimi K3.1 Pro 權重，將先前透過產品與 API 提供的模型帶入可自行部署階段。官方原先承諾於 11 月 4 日前釋出，目前 Hugging Face 已可取得權重、設定與處理程式，儲存庫大小約 1.56 TB。這讓團隊能在自有環境測試模型，也使部署成本與結果重現成為下一輪驗證重點。官方介紹、權重檔案

模型採混合專家架構，總參數 2.8 兆，每個 token 啟用約 1,040 億參數，支援文字、圖像及 1,048,576 token 上下文。相較 K3，架構以 Gated DSA 稀疏注意力取代原有全注意力層，搭配 Kimi Delta Attention；模型卡列出 MXFP4 權重與 MXFP8 活化值的量化感知訓練設定。啟用參數較少有助減少運算量，但完整專家權重仍形成龐大的容量需求。模型卡

11 月 5 日更新的 vLLM 配方提供八 GPU 張量平行基線，包括兩組 GB300 tray 或一個 B300 節點，並列出 MI355X 配置。長上下文可採 DCP8 分散快取；文件稱其容量高於一般 TP8，但相同批次的解碼步驟可能慢 7% 至 25%。因此，部署選擇須依長會話數量、快取需求與延遲目標調整，不能只看最大上下文長度。vLLM 部署配方

代理整合也有明確要求：多輪對話與工具呼叫須完整回傳 assistant 訊息，包括 reasoning_content 與 tool_calls。官方公布 Terminal-Bench 4.0 成績為 65.7%，但採用指定代理框架與推理設定，跨模型比較仍須核對測試條件；中文工程任務也應自行重測。模型卡與評測註記

商用方面，權重採自訂授權。經營模型服務且達營收門檻的業者須另行簽約，大型產品另有標示要求與例外條款。工程團隊下一步應先固定推論版本，驗證工具呼叫、長上下文正確率與實際吞吐，再決定服務規模。授權全文