Ollama 預發布版重用已驗證模型，嵌入暖請求測試延遲降低逾四成

Ollama 於 10 月 12 日合併 PR #18947，調整推論路由查找模型的方式，並在當日發布的 v0.40.4-rc0 納入變更。這項優化涵蓋 generate、chat、embed 與 System One，目標是減少模型已載入後，每次請求仍重做的查找工作。目前版本仍標為預發布。發布紀錄

新流程把具名模型的 manifest 解析與執行後端選擇集中於一次經驗證的冷查找；已有執行程序時，先確認 v2 標籤仍指向相同摘要，再重用模型物件。解析器選擇維持在單次請求內，避免共用模型時改動設定。提案也包含標籤變更、後端選擇、併發卸載與模型不存在等回歸測試。技術提案

維護者公布的同模型後續暖請求測試中，EmbeddingGemma 2 的 MLX 嵌入回應由 17.0 毫秒降至 7.52 毫秒，nomic-embed-text 的 GGUF 回應由 13.8 毫秒降至 8.11 毫秒；快取聊天案例的首 token 延遲則只降低約 4.8%。這顯示收益隨工作負載不同，不能直接推算成所有模型的加速幅度。測試數據

對 RAG 工程師而言，這類固定開銷值得量測：短文字向量化若頻繁呼叫同一模型，模型查找時間可能占較高比例，這是依變更機制做出的工程推論。官方 /api/embed 支援單筆文字與文字陣列，也提供 keep_alive，因此比較版本時應固定批次大小及模型駐留條件。嵌入 API 文件

公開測試尚不足以代表冷啟動、長輸入或高併發服務。部署團隊可同步記錄客戶端延遲，以及 API 的 total_duration、load_duration 和輸入 token 數，觀察收益是否來自載入相關開銷；官方時間欄位以奈秒計算。下一步應關注正式版納入狀態，以及模型標籤更新、切換後端和併發卸載時的實際行為。效能欄位說明