返回首頁

GitHub Repo

Ollama 預覽版修正取樣預設值覆寫,讓相容 API 沿用模型設定

Ollama 於 11 月 3 日發布 v0.40.14-rc0,納入相容 API 的取樣參數修正,避免用戶端省略欄位時覆寫模型設定。這可能改變既有應用的生成結果,目前仍屬預覽版,升級前應核對實際送出的參數。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 於 11 月 3 日發布 v0.40.14-rc0 預覽版,納入一項影響生成一致性的修正:使用相容 API 時,用戶端未指定的取樣參數將保留為未設定,讓模型內附參數生效。這項修補已於 10 月 31 日合併,本次進入可下載的預覽版本。版本紀錄

維護者指出,原先相容端點會替省略的 temperature 與 top_p 填入 1.0;/v1/completions 還會將兩種懲罰參數填為零。由於請求選項最後套用,這些補入值會蓋過模型封裝設定。例如,內附溫度為 0.1 的 LFM3,透過相容端點呼叫時可能實際以 1.0 執行。修正涵蓋聊天、文字補全與 Responses 三類端點,明確傳入的數值仍有優先權,包括零。修補說明

這項差異與模型部署方式直接相關。Ollama 的 Modelfile 可用 PARAMETER 保存執行參數;溫度與 top_p 會影響生成的多樣性。因此,工程師即使沿用同一份權重與提示詞,若切換介面時預設值被改寫,輸出分布仍可能不同。官方也提供 ollama show --modelfile,可檢查模型封裝的設定。Modelfile 文件

對既有整合而言,值得檢查的是用戶端到底有沒有送出參數。官方相容介面範例允許只提供模型與訊息;這類請求在修正後可能呈現不同生成行為。依修補邏輯推論,若框架已自行填入取樣值,伺服器仍會採用那些明確值,不能只靠升級恢復模型設定。相容介面文件

截至查核時,該版本仍標示為預覽版,公開資料也未提供修正前後的品質基準。工程團隊接下來應以固定模型版本與測例,比對省略參數及明確指定參數兩種路徑,並觀察正式版發布情況;目前能確認的是參數優先順序修正,尚不能推論所有任務的準確率都會提高。

來源

  1. Ollama v0.40.14-rc0 release
  2. openai: don't override model sampler defaults #19432
  3. Modelfile Reference
  4. OpenAI compatibility