GitHub Repo
Transformers 社群提出服務端修補,避免輸出 token 上限遭忽略
11 月 1 日提交的 Transformers 修補提案,處理聊天端點忽略 max_completion_tokens、改用 1024 token 預設上限的問題。提案已附測試結果,但截至查核時仍未合併,尚不能視為正式版本已修復。

Transformers 社群於 11 月 1 日提交 PR #50225,修補 transformers serve 的輸出長度參數處理。既有問題回報顯示,呼叫 /v1/chat/completions 時,若使用 max_completion_tokens 指定上限,服務端會接受請求並發出警告,卻未套用該數值。這次的新進展是具體修補與測試已提交,原始問題則早於本次查核窗口出現。修補提案
回報者提供的最小重現,直接建立處理器並檢查生成設定:傳入 max_completion_tokens=20,得到的 max_new_tokens 是 1024;改用 max_tokens=20,才得到預期的 20。程式路徑顯示,前者被列入未使用欄位,而建立生成設定的函式只讀取後者。這證明的是設定轉換落差,並不表示每次回答都會生成滿 1024 個 token。問題與重現程式
提案移除未使用欄位清單中的該參數,優先讀取 max_completion_tokens,未提供時再讀取 max_tokens,並加入單獨傳入新參數、同時傳入兩者的測試。作者回報相關設定測試有 11 項通過,但這仍是提交者提供的結果;頁面顯示尚無審查,CI 也仍待維護者批准執行。變更與驗證狀態
官方將 Serve CLI 定位為本機、自架服務、評估及中等負載部署工具,文件中的聊天範例使用 max_tokens。因此,沿用文件範例與改接另一套客戶端,可能得到不同的長度控制行為。工程上的影響是評估條件與資源預算可能偏離預期,而非模型能力本身改變。官方服務文件
部署團隊可先對照兩種參數產生的實際設定,避免只憑請求成功判定限制已生效。後續應追蹤審查、CI 與正式版本收錄情況;目前公開證據尚未界定所有受影響版本,也沒有量化這項缺陷在真實負載下增加多少延遲或運算量。