GitHub Repo
Transformers 社群回報量化快取缺陷，批次追加 token 可能超出全精度緩衝門檻
10 月 7 日的開發版重現指出，QuantizedCache 在重用前綴後追加多個 token，可能保留超過設定門檻的全精度快取。案例提供無須下載權重的測試，但尚無維護者確認，也未驗證 GPU 記憶體與輸出品質影響。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
GitHub Repo
最新模型
Liquid AI 釋出 d1 決策模型權重，以單次前向推論處理文字與影像分類
Liquid AI 於 10 月 7 日發布 d1-3B 與實驗性的 d1-omni-600M，直接回傳結構化決策，無須逐字生成答案。模型已有本機與 Jetson 部署範例，但低延遲數字依賴暖機條件，評測結果也仍以廠商測試為主。
最新模型
Google 推出 EmbeddingGemma 2，以模組化編碼器支援裝置端多模態檢索
Google 於 10 月 6 日發布 EmbeddingGemma 2，將文字、程式碼、影像、影片與音訊映射到共同向量空間，並以 Apache 2.0 開放權重。模型可按需求載入編碼器，但量化記憶體數據與全精度評測仍須分開解讀。
GitHub Repo
Ollama 社群實測：M5 Pro 上量化決策模型的提示處理比 BF16 慢
10 月 7 日的 Ollama 社群測試顯示，三款決策模型在 M5 Pro 上使用 MLX 量化格式時，長提示請求延遲高於 BF16。回報附有測量方法與重現指令，但反量化是否構成瓶頸，仍待維護者確認。
GitHub Repo
Ollama 社群回報雙模型載入崩潰，Qwen3-VL 圖像編碼階段出現 GPU 配置錯誤
10 月 6 日的社群案例指出，另一個大型模型已占用雙 GPU 時，Qwen3-VL 圖像請求可能讓推論程序連續崩潰。回報附有核心傾印堆疊，但顯存壓力與空指標的因果關係仍待維護者確認。
GitHub Repo
Hermes Agent 社群提出上下文覆寫修補，自訂供應端名稱轉換可能讓設定失效
10 月 6 日的社群案例指出，Hermes Agent 接上自訂模型代理後，上下文長度快取與手動覆寫可能阻擋代理啟動。針對覆寫失效的修補已提出，但仍是草稿，尚未處理快取過期問題。
GitHub Repo
PyTorch 社群回報編譯器漏乘係數，2.14 CUDA 動量更新可能放大十倍
10 月 5 日的 PyTorch 社群重現指出，Inductor 在特定裁剪與縮放組合下，可能遺失加法的 alpha 係數。修補草稿已於 10 月 6 日提出，但尚未合併，完整訓練影響仍待驗證。
GitHub Repo
Ollama 社群提出串流順序修補，文字接工具呼叫可能讓 Responses 客戶端拒收
10 月 5 日的社群案例指出，Ollama 在先輸出文字、再呼叫工具時，可能重複使用輸出索引並漏送訊息完成事件。修補提案已附回歸測試，但尚未合併，也未進行實際模型推論驗證。
GitHub Repo
Ollama 社群提出請求解析修補，JSON 尾端雜訊可能被忽略並啟動推論
Ollama 0.35.1 的社群重現顯示，生成端點收到合法 JSON 後接非 JSON 文字，仍可能回傳成功並執行模型。10 月 3 日已提出完整請求驗證修補，但尚未合併。
GitHub Repo
Ollama 社群回報 MLX 混合量化載入缺陷，匯入成功仍可能無法推論
Ollama 0.35.1 的社群案例顯示，MLX 模型的逐層量化設定可能未被正確套用，導致載入時出現張量形狀錯配。模型配置可驗證確有混合精度設定，但根因與其他模型的影響範圍仍待上游確認。
GitHub Repo
vLLM 社群回報批次不變性冷啟動缺陷，特定推論路徑可能穩定產生錯誤 token
vLLM 開發版的重現案例顯示，啟用批次不變性後，模型資訊快取與模組匯入順序仍可能改變推論結果。社群已提出修補，但尚未合併，正式版本與其他硬體的影響範圍仍待確認。
GitHub Repo
Transformers 社群回報分詞器配置錯配，DeepSeek 模型中文輸入可能靜默遺失
Transformers 5.8.1 的重現案例顯示，特定 DeepSeek 模型可能載入錯誤的分詞流程，讓中文輸入消失、英文空格遺失。現行開發版文件已描述配置錯配的回退機制，但此案例在各版本的修復狀態仍待確認。