所有文章 · SURL AI News

DeepSeek 開源 DeepInfer 推論引擎，支援兩類加速器但仍須補齊服務層

DeepSeek 於 10 月 20 日開源 DeepInfer，釋出支援 V4.1-Flash 的離線推論引擎與多項解碼最佳化。程式碼採 Apache 2.0 授權，但完整部署仍須自行整合 KV 快取、預填與解碼分離及負載平衡。

10 月 20 日的 LangChain 社群回報指出，摘要模型回傳空白文字時，中介軟體仍可能移除原始訊息，讓代理無聲遺失上下文。回報附有最小重現程式與修補構想，但尚無維護者確認或可核實的正式修復版本。

AWS 於 10 月 20 日推出開源 TorchNeuron 公開測試版，支援在 Trainium2、Trainium3 上使用 PyTorch 即時執行與模型編譯。原始碼文件同時列出動態形狀、資料型別與算子相容性限制，遷移仍須逐項驗證。

10 月 21 日的 Transformers 社群回報指出，5.14.1 的 RT-DETR 系列訓練可能將去噪查詢混入主損失，削弱正常查詢的正樣本監督。相關修補已於 9 月合併主分支，但此次實測尚待獨立重現，使用者應核對安裝版本。

10 月 21 日的 Open WebUI 社群回報指出，靜態 OAuth 設定可能因伺服器公布的驗證方式排序，導致 MCP 工具授權失敗。回報附有重現步驟與修改建議，但尚無維護者確認或正式修復版本。

10 月 21 日的 PyTorch 社群回報指出，融合 SGD 在梯度溢位而跳過首次更新時，可能留下未初始化的動量緩衝區，影響下一次有效更新。另一名參與者表示已在 CPU 重現，但尚無維護者確認或正式修復版本。

10 月 21 日的 Transformers 回報指出，Gemma 2 使用預設 SDPA 或部分 Flash Attention 核心時，可能無聲略過注意力分數的軟上限。回報附有數值比較與重現程式，但尚未確認正式修復版本，也不能據此推定所有任務的品質變化。

Transformers 維護者於 10 月 20 日提出共用區塊量化架構，規劃整合 FP8、MXFP4 等格式與混合精度載入。MXFP4 草案同時提高量化核心的硬體門檻，A100、T4 與 CPU 的執行方式可能改變，目前尚未合併。

10 月 20 日的 Dify 社群回報指出，刪除知識庫資料集時，清理程序可能刪掉另一資料集仍在使用的附件。修補提案已加入跨資料集引用檢查，但尚未合併，正式版本與雲端服務的影響範圍仍待確認。

10 月 20 日的 Hermes Agent 社群回報指出，閘道重新載入對話歷史時，工具帶入的原生影像可能只剩文字占位符。這可能讓模型撤回先前正確的視覺判讀，目前尚無可確認的正式修復版本。

llm-d 於 10 月 20 日發布 1.0，將多租戶服務品質、協調升級與代理會話路由納入推論堆疊。新版提供穩定的 v1 設定 API，但優先權政策仍須主動配置，故障移轉能力也有後續開發項目。

10 月 20 日的 Open WebUI 技術討論指出，少量訊息若包含大量工具輸出，可能超過門檻卻未觸發上下文壓縮。專案成員說明這是既定切分行為，並指出新版的工具輪次間壓縮可減輕問題，但無法直接救回所有既有對話。