GitHub Repo
Transformers 提出多模態管線修補,處理純影像與純音訊輸入遭拒問題
11 月 17 日的 Transformers 社群回報指出,AnyToAnyPipeline 會強制要求文字,阻擋底層處理器原本支援的純媒體推論。同日提交的修補附跨模型測試,但尚未合併,正式版本影響範圍仍待確認。
Transformers 的多模態統一介面出現輸入驗證缺口。貢獻者於 11 月 17 日回報,在 5.24.0.dev0 開發版使用 AnyToAnyPipeline 時,即使底層處理器能接受純影像或純音訊,上層管線仍可能因缺少文字而拒絕請求,並於同日提交修補。問題回報
重現案例以微型 Gemma3n 檢查點建立管線:只傳入 images 會觸發缺少 text 參數的型別錯誤;傳入 text=None 與音訊,則遭到要求文字或影像的驗證攔截;音訊字典輸入也會因找不到文字鍵而失敗。作者將問題定位在呼叫簽章、媒體驗證、前處理與空提示的後處理四處。重現程式與分析
官方文件顯示,這個管線結合模型與複合處理器,提供影像、影片、音訊及文字參數,但目前列出的呼叫簽章仍將文字設為必填。從介面設計來看,這類限制會讓應用端難以區分模型能力與封裝層限制;工程師診斷媒體輸入失敗時,應分別檢查處理器與管線路徑。官方 API 文件
修補提案讓文字成為可選輸入,擴充媒體檢查並處理空提示。作者表示,已在 Gemma3、Gemma3n、Gemma4、GOT-OCR2、Pix2Struct 與 BLIP 的微型檢查點完成七組媒體生成測試,六項新增回歸測試也由失敗轉為通過。這些結果驗證的是介面能否完成生成,不能據此推論完整模型的輸出品質。修補提案
截至查核時,提案仍開放且沒有審查紀錄。部署團隊應先固定版本重現自己的輸入形式,接著追蹤合併與發版狀態;尤其需確認文字、聊天與批次請求是否維持相容。此次證據來自開發版與提交者測試,尚不足以宣稱所有穩定版本或多模態模型均受影響。提案狀態