所有文章 · SURL AI News

Transformers 社群提出 T5 注意力修補，張量布局可能讓 SDPA 退回較慢核心

10 月 12 日的 Transformers 社群回報指出，T5 系列的位置偏置張量可能阻止 SDPA 使用融合核心，造成嵌入運算效能退步。修補提案已附 AMD、NVIDIA 測試，但尚未合併，改善幅度仍須依實際工作負載驗證。

10 月 11 日的 Ollama 社群回報指出，OpenAI 相容端點可能將含快取的提示總量除以未快取部分的運算時間，放大提示吞吐量。案例附有串流回應與重現步驟，但修補狀態及跨版本影響仍待確認。

10 月 12 日的 Transformers 社群回報指出，Mamba2 非融合 RMSNorm 未依設定分組，可能與融合訓練路徑產生不同輸出與梯度。回報附有 CPU、CUDA 對照及局部修補驗證，但尚無正式修補或完整模型品質評估。

10 月 11 日的 Ollama 社群回報指出，Go 用戶端解碼工具呼叫時，可能將大型整數與高精度小數四捨五入，再把改寫後的值送回對話歷史。修補提案已加入串流與桌面工具測試，但尚未合併，數字型別變更也需要相容性處理。

10 月 10 日的 PyTorch 社群回報指出，CUDA 批次 SVD 在矩陣尺寸從 32 增至 33 時，可能因執行路徑切換而大幅變慢。案例附有跨環境量測與修補提案，但替代驅動的精度取捨及正式修補狀態仍須確認。

10 月 10 日的 PyTorch 開發版回報指出，Intel XPU 上的 reduce-overhead 模式未啟用預期的圖形捕捉與重播。官方文件仍將此優化限定於 CUDA，XPU 整合尚待實作與效能驗證。

Microsoft 於 10 月 9 日發布 ONNX Runtime 1.31.0，將模型套件與 EPContext 資料介面納入穩定 API，並改善 CPU 模型載入與量化 MoE 執行。版本已上架 PyPI，但使用 GPU 外掛的團隊須核對算子綱要相容性，實際效能也需自行量測。

10 月 7 日的 PyTorch 與 TorchTitan 回報指出，copy-on-write 張量在 CUDA Graph 擷取期間實體化，可能漏記複製操作，導致重播產生錯誤結果。案例附有最小重現與 MoE 推論對照，但正式版本影響範圍及上游修補仍待確認。

10 月 7 日的開發版重現指出，QuantizedCache 在重用前綴後追加多個 token，可能保留超過設定門檻的全精度快取。案例提供無須下載權重的測試，但尚無維護者確認，也未驗證 GPU 記憶體與輸出品質影響。

Liquid AI 於 10 月 7 日發布 d1-3B 與實驗性的 d1-omni-600M，直接回傳結構化決策，無須逐字生成答案。模型已有本機與 Jetson 部署範例，但低延遲數字依賴暖機條件，評測結果也仍以廠商測試為主。

10 月 6 日的社群案例指出，另一個大型模型已占用雙 GPU 時，Qwen3-VL 圖像請求可能讓推論程序連續崩潰。回報附有核心傾印堆疊，但顯存壓力與空指標的因果關係仍待維護者確認。

10 月 5 日的 PyTorch 社群重現指出，Inductor 在特定裁剪與縮放組合下，可能遺失加法的 alpha 係數。修補草稿已於 10 月 6 日提出，但尚未合併，完整訓練影響仍待驗證。