GitHub Repo
DeepSeek 開源 DeepInfer 推論引擎，支援兩類加速器但仍須補齊服務層
DeepSeek 於 10 月 20 日開源 DeepInfer，釋出支援 V4.1-Flash 的離線推論引擎與多項解碼最佳化。程式碼採 Apache 2.0 授權，但完整部署仍須自行整合 KV 快取、預填與解碼分離及負載平衡。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
GitHub Repo
GitHub Repo
AWS 公測 TorchNeuron，讓 Trainium 原生執行 PyTorch，編譯仍限靜態形狀
AWS 於 10 月 20 日推出開源 TorchNeuron 公開測試版，支援在 Trainium2、Trainium3 上使用 PyTorch 即時執行與模型編譯。原始碼文件同時列出動態形狀、資料型別與算子相容性限制，遷移仍須逐項驗證。
GitHub Repo
Transformers 提出統一量化架構草案，MXFP4 遷移可能改變舊 GPU 載入行為
Transformers 維護者於 10 月 20 日提出共用區塊量化架構，規劃整合 FP8、MXFP4 等格式與混合精度載入。MXFP4 草案同時提高量化核心的硬體門檻，A100、T4 與 CPU 的執行方式可能改變，目前尚未合併。
推論系統
llm-d 發布 1.0，以多租戶流量控制與穩定 API 強化分散式推論維運
llm-d 於 10 月 20 日發布 1.0，將多租戶服務品質、協調升級與代理會話路由納入推論堆疊。新版提供穩定的 v1 設定 API，但優先權政策仍須主動配置，故障移轉能力也有後續開發項目。
GitHub Repo
Open WebUI 釐清上下文壓縮限制，巨型單輪回覆仍可能使對話超出視窗
10 月 20 日的 Open WebUI 技術討論指出，少量訊息若包含大量工具輸出，可能超過門檻卻未觸發上下文壓縮。專案成員說明這是既定切分行為，並指出新版的工具輪次間壓縮可減輕問題，但無法直接救回所有既有對話。
GitHub Repo
Transformers 回報連續批次效能問題，閒置 KV 快取容量也可能拖慢生成
10 月 20 日的 Transformers 回報指出，連續批次生成使用 Flash Attention 時，即使快取大部分未使用，擴大配置仍可能增加耗時。相關 TRL 測試也出現訓練減速，目前尚無可確認的正式修復版本。
GitHub Repo
Transformers 維護者確認 serve 採樣缺口，正溫度設定仍可能使用貪婪解碼
10 月 19 日的 Transformers 回報指出，部分模型透過 serve 接收正值 temperature 後，仍未啟用隨機採樣。維護者已確認問題並表示將重整修補，但尚無可確認的正式修復版本。
最新模型
MiniMax 發布 M3.1 Flash，主打低成本代理任務與百萬 token 上下文
MiniMax 於 10 月 19 日推出 M3.1 Flash，調整稀疏推論以提高速度，並降低代理任務使用成本。模型已提供 API 存取，但權重仍待釋出，官方效能數據也有待獨立驗證。
最新模型
Inception 發布 Mercury 3，擴散語言模型支援百萬 token 上下文
Inception 於 10 月 19 日推出 Mercury 3，將上下文擴至百萬 token，並宣稱輸出速度達每秒 1,068 token。已有應用開發商接入，但官方速度與品質比較仍待獨立評測。
GitHub Repo
Transformers 社群回報 Qwen4-Exp 快取重設缺口，重用後可能改變稀疏注意力結果
10 月 19 日的 Transformers 社群回報指出，Qwen4-Exp 重用已重設的快取時，殘留位置資訊可能改變稀疏注意力選擇。回報附有重現程式與本機修補，但尚無維護者確認，也未完成預訓練模型評估。
GitHub Repo
Ollama 0.40.7 候選版加入 PPLX Decider v1.2 的 MLX 推論支援
Ollama 於 10 月 18 日發布 0.40.7 候選版，新增 PPLX Decider v1.2 的 MLX 執行支援。更新涵蓋非因果注意力、決策讀出與影像處理，但本機效能及量化後機率仍須驗證。
GitHub Repo
SGLang 0.5.22 新增延後配置 KV 快取選項，改善特定長短提示混合負載
SGLang 於 10 月 19 日發布 0.5.22，讓分離部署的 decode 節點可等 prefill 完成後再配置請求的 KV 空間。官方特定負載測試顯示吞吐量提升，但 token 間延遲尾端惡化，功能維持選用。