Transformers、PaddleOCR-VLの位置補間設定を修正し、元モデルと一致する動作を復元

Hugging Face Transformersは11月5日、修正 #50384 をマージし、PaddleOCR-VLの視覚埋め込みにおける interpolation_align_corners を True から False に戻した。これにより、元モデルが使用していた双線形補間の動作が復元される。変更はメインブランチに反映済みだが、現時点で確認できる情報からは、どの正式パッケージ版に含まれるかは確認できない。修正の記録

問題は、入力画像のグリッドに合わせて視覚位置埋め込みを再サンプリングする際に発生した。報告者によるバージョン比較では、5.12.1は align_corners=False を使用していたが、5.13.0以降は共通の視覚補助関数のリファクタリング後、True と同等の座標規則が採用された。目標のパッチグリッドがモデルの学習済みグリッドと異なる場合、補間後の位置ベクトルが変化する。最小再現例では、2×2グリッドを4×4に拡大したとき、元の設定との差の最大絶対値は約0.25だった。これは人工的なテストベクトル上の差であり、認識エラー率として直接解釈することはできない。問題と再現コード

この設定は文書認識のデプロイに関係する。PaddleOCR-VLの中核モデルは0.9Bの視覚言語モデルで、NaViTスタイルの動的解像度視覚エンコーダーとERNIE-4.5-0.3Bを組み合わせ、テキスト、表、数式、図表を処理する。異なるページサイズへの対応が必要な処理パイプラインでは、位置補間が元の実装と一致しているかどうかが、バージョンをまたいだ結果の再現に際して管理すべき要因となる。モデル技術ドキュメント

一方、公開されている証拠から、深刻な精度低下があったとは確認できない。報告者は同じレイアウトモデルを使い、PaddleX経由でOmniDocBench v1.5を実行した。公開された総合スコアは False が95.25、True が95.20で、公式のvLLM参照結果は95.24だった。難しいケースでは、どちらの設定でも誤認識や出力の重複が起きる可能性がある。これらは貢献者が提供したテスト結果であり、あらゆる文書への影響を推定するには十分ではない。エンジニアリングチームは、まずモデルの重みとパッケージのバージョンを固定したうえで、自社の中国語の表、スキャンページ、サイズの異なる文書を使って出力を比較し、正式版への収録状況を追跡するとよい。評価に関する議論