GitHub Repo
Transformers 提出多模態參數隔離修補,避免重用設定影響後續請求
Transformers 社群於 11 月 15 日回報,兩種多模態 pipeline 會修改呼叫端傳入的生成設定,造成後續請求報錯或沿用舊參數。修補已提出,另一位貢獻者也回報驗證結果,但尚未合併。

Transformers 社群於 11 月 15 日提出問題回報,指出 ImageTextToTextPipeline 與 AnyToAnyPipeline 在整理參數時,會直接修改呼叫端的 generate_kwargs 字典。若應用程式跨請求重用同一份設定,前次呼叫加入的參數便可能影響下一次推論。回報環境為 5.24.0.dev0,並附公開模型的重現步驟。問題回報
具體案例是先傳入僅含 do_sample=False 的字典,再於呼叫時指定 max_new_tokens=2;pipeline 會把長度限制寫回原字典。第二次重用字典並改傳另一個長度值,就因參數重複而拋出例外。回報者以 SmolVLM-256M 在 NVIDIA T4 重現此情況;停止字串殘留與生成模態錯置,則是在參數整理層驗證,尚不能等同完整模型輸出測試。重現細節
這類問題會影響服務封裝與評測的可重現性。官方文件將 pipeline 定義為整合前處理、模型推論與後處理的介面,並列出依生成模態返回文字、音訊或影像的行為。據此推論,若生成端保留舊模態,而後處理採用新設定,兩階段便可能失去一致性;工程師也可能把請求順序造成的差異誤認為模型不穩定。官方介面文件
同日提出的修補改為先複製設定字典,再加入個別請求參數,並保留既有的重複參數檢查。提交者表示六項回歸測試通過;11 月 16 日,另一位貢獻者回報,在 5.23.0 替換兩個 pipeline 檔案後,參數層重現案例也恢復預期行為。這提供額外佐證,但仍屬社群測試,截至查核時尚無合併或正式版修補確認。修補與驗證
依目前重現結果,部署端可先讓每次呼叫使用新的設定字典,並檢查連續請求是否留下停止字串或模態設定。後續應追蹤維護者審查、納入版本,以及完整模型測試是否涵蓋各種輸出模態;目前證據不足以推定所有多模態模型都受影響。