返回首頁

GitHub Repo

Transformers 修正 PaddleOCR-VL 位置插值設定,恢復與原模型一致的行為

Transformers 於 11 月 5 日合併 PaddleOCR-VL 修補,恢復視覺位置嵌入的插值對齊設定。社群測試顯示整體文件辨識分數差距很小,這次變更主要改善實作一致性與結果重現。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Hugging Face Transformers 於 11 月 5 日合併修補 #50384,將 PaddleOCR-VL 視覺嵌入中的 interpolation_align_corners 從 True 改回 False,恢復原模型使用的雙線性插值行為。變更已進入主分支,但目前查核資料尚不能確認哪個正式套件版本會收錄。修補紀錄

問題發生在視覺位置嵌入需要配合輸入影像網格重新取樣時。依回報者的版本比對,5.12.1 使用 align_corners=False;從 5.13.0 起,共用視覺輔助函式重構後採用了等同 True 的座標規則。當目標 patch 網格與模型學得的網格不同,插值後的位置向量便會改變。最小重現案例把 2×2 網格放大到 4×4,與原設定的最大絕對差約為 0.25;這是人工測試向量的差異,不能直接解讀成辨識錯誤率。問題與重現程式

這項細節與文件辨識部署有關:PaddleOCR-VL 的核心模型為 0.9B 視覺語言模型,結合 NaViT 風格動態解析度視覺編碼器與 ERNIE-4.5-0.3B,處理文字、表格、公式及圖表。對需要支援不同頁面尺寸的流程而言,位置插值是否符合原始實作,是跨版本重現結果時應控制的變數。模型技術文件

不過,公開證據並未顯示嚴重精度退化。回報者以相同版面模型、透過 PaddleX 執行 OmniDocBench v1.5,公布 False 與 True 的整體分數分別為 95.25、95.20,官方 vLLM 參考結果為 95.24;兩種設定在困難案例中也都可能出錯或重複輸出。這些是貢獻者提供的測試,尚不足以推論所有文件的影響。工程團隊可先固定模型權重與套件版本,再用自身中文表格、掃描頁及不同尺寸文件比較輸出,並追蹤正式版本收錄情況。評測討論

來源

  1. Fix PaddleOCR-VL vision position interpolation alignment — PR #50384
  2. PaddleOCR-VL position embedding interpolation regression — Issue #50241
  3. PaddleOCR-VL — Transformers documentation