返回首頁

GitHub Repo

Transformers 社群回報 DeepSeek-VL 補邊色偏差,影像處理器可能忽略已存設定

10 月 15 日的 Transformers 社群回報指出,Janus 與 DeepSeek-VL 影像處理器可能忽略指定的補邊顏色,使部分非正方形影像的輸入偏離原始實作。回報已附修補與測試結果,但尚無正式修補版本,模型準確率影響也未經量測。

Andrew Wippler from Lancaster, USA · CC BY 2.0 · Image source
zh-Hant

Transformers 社群於 10 月 15 日提出影像前處理一致性問題:Janus、DeepSeek-VL 與 DeepSeek-VL-Hybrid 的部分處理器會重新計算補邊顏色,忽略呼叫端傳入或檢查點保存的設定。回報以當日主分支、CPU 環境重現,並指出 PIL 與 torchvision 後端的預設行為也可能不同。問題回報

具體案例是 deepseek-vl-7b-chat。DeepSeek 公開的原始設定明列 background_color 為 RGB(122、116、104),影像尺寸為 1024;回報者載入社群轉換版本後,低解析度分支卻得到(127、127、127),高解析度分支則保留前述顏色。這讓同一張需要補邊的圖片,在不同路徑下產生不同像素輸入。原始模型設定

原始 DeepSeek 程式會依影像均值推導補邊色,將長方形圖片補成正方形;已是正方形的圖片直接返回。因此,這項差異主要涉及補邊區域,不能直接推論所有圖片都受影響。Transformers 文件也確認,Hybrid 架構分別使用 SigLIP 與 SAM 處理低、高解析度資訊,前處理一致性是比對實作時需要檢查的一環。原始程式、架構文件

回報附帶的修補優先採用明確指定或已保存的顏色,缺省時才從處理器屬性推導。作者稱相關測試有 69 項通過,但未執行需要 GPU 的 7B 慢速整合測試;截至查核,議題仍開啟,未列出關聯 PR。修補與驗證說明

對進行模型移植或評測重現的工程師,這提供一個具體檢查點:除了固定權重,也應比較前處理張量、後端選擇,以及設定儲存後重新載入的結果。後續應追蹤正式修補與非正方形圖片的端到端測試;目前證據尚不足以宣稱辨識品質明顯下降。

來源

  1. Transformers Issue #49625:Janus/DeepSeek-VL 補邊顏色設定問題
  2. DeepSeek-VL-7B-Chat 原始影像前處理設定
  3. DeepSeek-VL 原始影像處理程式
  4. Transformers DeepseekVLHybrid 文件