GitHub Repo
vLLM 0.32.0 加入結構化決策端點，升級須留意 Python 與串流相容性
vLLM 於 10 月 18 日發布 0.32.0，新增可回傳選項機率的結構化決策端點。新版同時移除 Python 3.10 支援並調整串流事件名稱，既有部署須驗證相容性。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
GitHub Repo
GitHub Repo
Open WebUI 社群提出 MCP 去重修補，處理 FastMCP 清單結果重複送入模型
10 月 18 日的 Open WebUI 社群回報指出，FastMCP 工具傳回清單時，相同資料可能以文字與結構化內容重複進入模型上下文。當日已有修補提案，但尚未合併，實際 token 與成本影響仍須依工作負載量測。
GitHub Repo
REA 6.7.0 納入 Kuna 反編譯器，讓程式代理重用靜態分析結果
REA 於 10 月 18 日發布 6.7.0，納入 Kuna 靜態分析後端及可重用的 JavaScript 查詢結果。新版擴充代理逆向工程工具，但 Kuna 須自行安裝，平台支援與分析完整性仍有限制。
最新模型
IFM 發布 Jais 3 阿拉伯語模型家族，開放分階段權重與訓練配方
IFM 於 10 月 15 日發布六款 Jais 3 模型，涵蓋 0.9B 至 375B 參數，聚焦阿拉伯語推理與工具操作。官方同步公開訓練階段檢查點與評測資產，但效能數據仍待獨立重現。
GitHub Repo
Ollama 0.40.6 修正 Windows 程序殘留，以 Job Object 清理推論子程序
Ollama 於 10 月 16 日發布 0.40.6，修正 Windows 命令列服務遭強制終止後，推論子程序可能繼續執行的問題。新版利用作業系統管理程序生命週期，涵蓋 llama-server 與 MLX runner。
最新模型
NVIDIA 公開 Dory 4B 循環模型權重，以可調迴圈增加推論計算深度
NVIDIA 於 10 月 16 日發布 Dory 1.0，以重複執行共享層的方式，讓同一份 4B 權重支援不同推論計算預算。模型提供最後迴圈 KV 快取選項，但效能仍屬官方測試，主要推論框架的支援也尚待整合。
最新模型
Elorian 發布 Glimpse 視覺推理模型，支援推理期間重看影像與影片
Elorian 於 10 月 16 日推出 Glimpse 研究預覽，讓模型在推理期間放大影像、重看影片並使用多模態工具。模型已上架 API 平台，但官方評測涉及不同代理與推理設定，實際延遲及成本仍須驗證。
AI 研究
微軟公開 MAI-Base-2 預訓練細節，透過多輪 MoE 調度控制記憶體用量
微軟於 10 月 15 日公開 MAI-Base-2 技術報告，模型共有 2.8 兆參數，每 token 啟用約 800 億參數。報告詳述 MoE 記憶體管理與訓練效率改進，但模型仍在後訓練階段，尚無公開權重或服務日期。
GitHub Repo
Hermes Agent 合併供應商切換修補，避免 API 金鑰送往舊端點
Hermes Agent 於 10 月 16 日合併路由修補，處理切換模型供應商後仍沿用舊端點、將新金鑰送至錯誤主機的問題。修補已有本機端到端驗證，但正式發布版本與既有工作階段的修復範圍仍須確認。
GitHub Repo
Transformers 社群回報 DeepSeek-VL 補邊色偏差，影像處理器可能忽略已存設定
10 月 15 日的 Transformers 社群回報指出，Janus 與 DeepSeek-VL 影像處理器可能忽略指定的補邊顏色，使部分非正方形影像的輸入偏離原始實作。回報已附修補與測試結果，但尚無正式修補版本，模型準確率影響也未經量測。
最新模型
Meta 公開 Muse Spark Open 權重，816B 多模態模型提供 BF16 與 NVFP4 版本
Meta 於 10 月 15 日發布 Muse Spark Open，採用每 token 啟用約 42B 參數的 MoE 架構，支援百萬 token 上下文。Hugging Face 已公布部署方法與 Mac 量化測試，但完整權重及長上下文仍帶來可觀的記憶體需求。
GitHub Repo
Transformers 社群回報 DeBERTa 正規化退步，全形字元與中文部首可能變成未知 token
10 月 15 日的 Transformers 社群回報指出，v5 的 DeBERTa tokenizer 可能漏用 SentencePiece 正規化規則，使部分相容字元編碼為未知 token。另一名參與者已獨立重現，但正式修補與下游準確率影響仍待確認。