GitHub Repo
Ollama 預發布版改用 llama.cpp 原生決策推論,舊 GGUF 模型須留意重新下載
Ollama 於 10 月 12 日合併決策模型推論路徑更新,並納入 v0.40.4-rc1,將提示組裝與評分交給 llama.cpp。更新也調整評分規格與模型中繼資料要求,既有部署需驗證模型檔案相容性。

Ollama 在 10 月 12 日合併 PR #18917,將內含的 llama.cpp 更新至 b11521,並於同日發布的 v0.40.4-rc1 納入這項變更。核心調整是讓 GGUF 決策模型的 /v1/systemone 請求直接交由 llama.cpp 處理,模型提示也由該引擎組裝,移除 Ollama 自行維護的評分實作與 Clef 修補。這是推論責任的重新分配,公開資料尚未提供效能提升數據。發布紀錄、合併提案
決策模型適合將共用狀態轉成分類、是非機率或依規準評分。例如,工程團隊可把工單放入 state,同時詢問問題類別與急迫程度。官方文件列出三種題型:choice 回傳選項及機率,noul 回傳成立機率,score 則依各等級機率計算加權分數。這類介面可用於工作流程分流,但文件明確提醒,較高的信心值並不保證答案正確。決策模型指南
新路徑讓單次請求內的問題平行執行;Clef、Laya 與 LFM2-D1-Omni 會以一個批次讀取完整提示,因此排程器會依上下文設定批次大小。更新也將所有模型的 score 統一為二至十個等級,並拒絕空白狀態。從部署角度看,工程師應比較相同輸入在更新前後的分數、延遲與記憶體使用量,確認引擎切換對實際工作負載的影響。技術變更說明
相容性是這次更新最直接的注意事項:決策 GGUF 不再需要手動宣告 CAPABILITY decision,但缺少 llama.cpp 決策中繼資料的舊檔案會收到要求重新下載的錯誤。維護者表示,更新模型將另外推送,並標記需要 0.40.4;不能把程式碼合併視為所有模型檔案均已完成更新。遷移說明
目前版本仍屬預發布。System One API 回傳單一 JSON,不支援串流或工具呼叫,完整輸入也必須符合上下文限制。後續值得追蹤正式版發布、模型檔案供應狀態,以及跨版本的決策結果回歸測試。API 文件