Transformers 維護者確認 serve 採樣缺口，正溫度設定仍可能使用貪婪解碼

Hugging Face Transformers 的輕量推論服務出現生成參數轉接缺口。10 月 19 日提交的回報顯示，透過 transformers serve 呼叫 Mistral-7B-Instruct-v0.3，即使將 temperature 設為 1.5，十次相同提示仍得到完全相同的回答。回報環境為 5.21.0.dev0、Apple MPS，並關閉連續批次處理；這些結果不能直接外推至所有正式版本與執行後端。問題回報

關鍵在於 API 溫度參數與底層生成模式的對應。提案作者指出，服務遇到零溫度會設定 do_sample=False，遇到正溫度卻未反向開啟採樣；模型生成設定若沒有啟用 do_sample，便仍走貪婪解碼。官方文件也說明，隨機採樣須以 do_sample=True 啟用，溫度本身不能取代模式選擇。生成策略文件

同日提出的修補會在非零溫度時開啟採樣，並加入設定建構測試。作者展示本機修改後十次呼叫產生十種回答；維護者 SunMarc 隨後確認，現有預設確實可能在改變溫度後繼續使用貪婪解碼，但表示參數處理比提案更複雜，將另行整理並對齊其他推論引擎。查核時原提案仍未合併，因此本機結果不能視為上游修復已完成。修補與維護者回覆

這對評測與代理實驗有直接意義。官方將 serve 定位於本機、自架、評估及中等負載用途，並提供相容的聊天端點。據此推論，若工程團隊用調高溫度取得多個候選答案，這項缺口可能讓多次生成失去預期的探索效果，進而干擾對答案多樣性的判讀。服務文件

後續應追蹤替代修補、正式版本，以及頂層溫度與模型生成設定的優先順序。驗證部署時，也應檢查實際傳入的採樣旗標，搭配多組提示比較輸出分布；單一提示連續重複，仍不足以獨立證明採樣未啟用。