GitHub Repo
Transformers 社群回報 GOT-OCR2 座標錯置,NumPy 圖片可能改變區域辨識輸入
10 月 23 日的 Transformers 社群回報指出,GOT-OCR2 處理 NumPy 圖片時,可能因寬高順序不一致而產生錯誤的區域座標。回報附有無須 GPU 的重現程式,但正式版本的影響範圍與修復狀態仍待確認。

Transformers 社群於 10 月 23 日提出 GOT-OCR2 前處理錯誤回報:同一張圖片與同一組辨識區域座標,以 PIL 影像或 NumPy 陣列傳入時,可能得到不同的模型輸入。回報環境為 Transformers 5.21.0.dev0,問題可在 CPU 上重現,無須下載模型權重;目前公開頁面尚未顯示維護者確認。問題回報
回報者將原因定位到兩個函式之間的尺寸約定。get_image_size() 對 PIL 回傳寬、高,對 NumPy 則回傳高、寬;但 preprocess_box_annotation() 一律將輸入解讀為寬、高。依回報中的原始碼分析,單張圖片與多頁處理路徑都會直接傳遞這個尺寸結果,讓後續座標正規化使用錯誤分母。技術細節
具體案例是一張寬 320、高 120 像素的圖片,指定方框為 [32,12,160,60]。PIL 路徑得到正規化座標 [100,100,500,500],NumPy 路徑卻得到 [266,37,1333,187],其中一個值超出預期的零至一千範圍。回報者另稱,對實際處理器輸入進行比較時,有十四個 token ID 不一致;這項測試顯示差異已進入模型提示,但尚未量測最終辨識文字的錯誤率。重現結果
這對文件擷取流程有直接意義。官方文件允許使用者透過 box=[x1,y1,x2,y2] 指定像素座標,引導 GOT-OCR2 辨識特定區域。因此,若影像管線切換資料表示方式後改變了座標提示,工程上可能把前處理差異誤判為模型辨識不穩定;這是依介面用途推導的風險,並非已驗證的下游事故。官方區域辨識文件
使用這項功能的團隊可先以非正方形圖片,比對 PIL 與 NumPy 路徑的正規化座標及輸入 token,再決定是否暫時統一採用 PIL。後續應追蹤修補是否涵蓋單頁與多頁路徑,以及哪些正式版本受影響;目前證據不足以將問題擴大到所有 GOT-OCR2 任務或模型權重。