所有文章 · SURL AI News

Ollama 社群提出串流順序修補，文字接工具呼叫可能讓 Responses 客戶端拒收

10 月 5 日的社群案例指出，Ollama 在先輸出文字、再呼叫工具時，可能重複使用輸出索引並漏送訊息完成事件。修補提案已附回歸測試，但尚未合併，也未進行實際模型推論驗證。

10 月 5 日的開發版重現指出，Lightning Indexer 保留逐注意力頭的完整分數，可能讓長提示的暫存顯存大幅增加。案例提供獨立索引器測試，但完整模型與正式版本的影響仍待確認。

Transformers 5.12.0 的社群案例指出，啟用節省 CPU 記憶體的載入選項後，其他訓練程序仍可能配置完整模型，導致主機記憶體耗盡。官方文件確認該選項應避免各程序重複載入，但問題根因與修復狀態仍待上游確認。

10 月 4 日的重現案例指出，載入模型後轉為 bf16，可能連帶降低 RoPE 頻率緩衝區精度，使結果不同於直接以 bf16 載入。社群修補提案已於 10 月 5 日被維護者關閉，真實模型品質影響與後續處理仍待確認。

10 月 4 日的社群重現指出，Transformers 開發版的 MiniMax Lightning Attention 以 bf16 計算衰減，可能讓部分注意力頭停止遺忘舊資訊。改用 fp32 的修補已提出但尚未合併，實際模型品質與效能影響仍待驗證。

Ollama 0.35.1 的社群重現顯示，生成端點收到合法 JSON 後接非 JSON 文字，仍可能回傳成功並執行模型。10 月 3 日已提出完整請求驗證修補，但尚未合併。

Ollama 0.35.1 的社群案例顯示，MLX 模型的逐層量化設定可能未被正確套用，導致載入時出現張量形狀錯配。模型配置可驗證確有混合精度設定，但根因與其他模型的影響範圍仍待上游確認。

vLLM 開發版的重現案例顯示，啟用批次不變性後，模型資訊快取與模組匯入順序仍可能改變推論結果。社群已提出修補，但尚未合併，正式版本與其他硬體的影響範圍仍待確認。

LangChain 1.4.0 的社群重現案例顯示，直接將例外類別傳入 retry_on，可能讓模型與工具重試不符合條件的錯誤。官方文件要求使用例外類別元組或判斷函式，目前修補與完整影響範圍仍待確認。

Transformers 5.8.1 的重現案例顯示，特定 DeepSeek 模型可能載入錯誤的分詞流程，讓中文輸入消失、英文空格遺失。現行開發版文件已描述配置錯配的回退機制，但此案例在各版本的修復狀態仍待確認。

Ollama 0.35.1 的社群重現案例指出，lfm2:24b 可能漏掉特定位置的 python 字串，連帶改變 JSON 值與文件內容。問題目前仍待上游確認，尚無足夠證據判定是分詞解碼、模型封裝或硬體路徑造成。

AstaBrief 以 Qwen3-8B 為基礎，公開模型權重與訓練資料，將研究問題及檢索片段整合成報告。官方回報完整流程約快 3.5 倍，但比較主要沿用 2025 年的模型與評估。