GitHub Repo
Transformers 主分支修正多模態候選遺失,保留批次生成的完整結果
Transformers 於 11 月 4 日的主分支提交中納入多模態管線修補,處理要求多個生成候選卻只收到部分結果的問題。變更涵蓋候選維度與輸入對齊,正式套件是否已收錄仍須確認。

Transformers 主分支於 11 月 4 日列入修補 #50198,處理 ImageTextToTextPipeline 與 AnyToAnyPipeline 在多候選生成時靜默丟失輸出的問題。這項變更針對推論管線的結果整理流程;需要一次產生多份圖片描述或視覺問答答案的應用,應核對實際收到的候選數量。主分支紀錄
原始回報以 SmolVLM-256M-Instruct、Tesla T4 與 Transformers 開發版重現:設定 num_return_sequences=2,單筆輸入預期取得兩個候選,實際只回傳一個;兩筆輸入合批後,預期共四個,實際只有兩個。回報亦指出,張量、新生成文字與完整文字三種回傳模式都能觸發問題,因此不能只靠切換文字輸出選項避開。重現案例
根因涉及兩個階段:前向傳遞沒有保留批次中的候選維度,讓管線迭代器可能丟棄結果;後處理又依輸入文字數量迭代,截斷額外候選。修補在符合條件時,將生成序列重整為包含輸入與候選維度的結構,再讓候選與原始提示正確對應,並加入兩種管線的回歸測試。程式差異
工程上的風險是下游流程可能照常執行,卻只取得部分答案。若系統依賴多候選重排序、品質比較或評估,候選不足可能改變結果;這是依缺陷機制推導的影響,尚無公開證據量化其普遍程度。官方文件說明,pipeline 包含前處理、模型推論與後處理,並支援批次輸入,驗證時應同時檢查模型輸出及管線最終回傳值。官方文件
提案作者公布的小型模型測試通過,但不足以代表所有多模態模型。部署團隊接下來應確認正式版本收錄狀態,並以自身模型比較單筆與合批輸出的候選數、提示對應及單候選相容性;主分支已有提交,仍不能直接推定現有套件安裝已包含修正。