Transformersコミュニティ、DeepSeek-VLのパディング色の不一致を報告　画像プロセッサーが保存済み設定を無視する可能性

Transformersコミュニティは10月15日、画像前処理の一貫性に関する問題を報告した。Janus、DeepSeek-VL、DeepSeek-VL-Hybridの一部のプロセッサーが、呼び出し元から渡された、またはチェックポイントに保存された設定を無視して、パディング色を再計算するという。報告者は同日、CPU環境でメインブランチを使って再現し、PILとtorchvisionのバックエンドでもデフォルトの動作が異なる可能性を指摘した。問題報告

具体例はdeepseek-vl-7b-chatだ。DeepSeekが公開した元の設定では、background_colorにRGB（122、116、104）、画像サイズに1024が明記されている。報告者がコミュニティによる変換版を読み込むと、低解像度の経路では（127、127、127）が使われた一方、高解像度の経路では元の色が維持された。そのため、パディングが必要な同じ画像でも、処理経路によって異なるピクセル入力が生成される。元のモデル設定

元のDeepSeekコードは、画像の平均値からパディング色を導出して長方形の画像を正方形にし、すでに正方形の画像はそのまま返す。したがって、この差異が主に関わるのはパディング領域であり、すべての画像が影響を受けるとは限らない。Transformersのドキュメントによると、Hybridアーキテクチャは低解像度情報の処理にSigLIP、高解像度情報の処理にSAMをそれぞれ使用する。実装を比較する際には、前処理の一貫性も確認すべき点となる。元のコード、アーキテクチャのドキュメント

報告に添えられた修正案では、明示的に指定された色、または保存済みの色を優先し、どちらもない場合にのみプロセッサーの属性から色を導出する。報告者によると、関連テスト69件はすべて通過したが、GPUを必要とする7Bの低速な統合テストは実行していない。確認時点で、issueは未解決のままで、関連PRも記載されていなかった。修正案と検証の説明

モデル移植や評価の再現に取り組むエンジニアにとって、これは具体的な確認項目となる。重みを固定するだけでなく、前処理後のテンソル、バックエンドの選択、設定を保存して再読み込みした後の結果も比較するとよい。今後は正式な修正と、非正方形画像を使ったエンドツーエンドテストを追跡する必要がある。現時点の証拠だけでは、認識品質が明確に低下したとは結論づけられない。