TransformersコミュニティがLLMDetの重み共有の不具合を報告、検出ボックスが物体からずれる可能性

Transformersコミュニティは10月12日、物体検出モデルの読み込みに関する問題を報告した。MM Grounding DINOクラスでは、設定で各層を独立させるよう明示されていても、各デコーダー層のバウンディングボックスヘッドと分類ヘッドがすべて第0層に結び付けられる可能性がある。報告者はTransformers 5.18.0を使用し、5.19.0とメインブランチにも同じ重みの結び付け規則があると指摘した。確認時点で、このIssueは未解決のままで、メンテナーによる確認もない。Issue報告

この差異は、モデル読み込み後の実際の計算構造に関わる。LLMDet tinyの公開設定には6つのデコーダー層があり、decoder_bbox_embed_shareとdecoder_cls_embed_shareはいずれもfalseになっている。モデルカードによると、LLMDetは大規模言語モデルとの共同学習によってオープンボキャブラリー検出を強化する。一方、公開された推論用チェックポイントには学習用の言語モデルは含まれておらず、推論方法はMM Grounding DINOと同じである。モデル設定、モデルカード

報告者は、モデルカードに掲載された猫とリモコンの画像を使い、CPU・単精度の環境で、デフォルトの読み込みと各層のチェックポイント重みを復元した場合の結果を比較した。デフォルトの読み込みでは、猫1匹のボックスの上端が画像の外にあり、もう1匹の下端は画像の高さを超えていた。各層の検出ヘッドを復元すると、ボックスの座標は大きく変化した。報告者はまた、分類ヘッドには学習可能なバイアスがあり、これを共有することもスコアに影響しうると述べた。これは単一事例の比較であり、全体的な精度の低下にそのまま換算することはできない。再現コードと出力

エンジニアリングチームにとって、この報告は、フレームワークのアップグレード時に重みが設定どおり独立しているかを検証し、固定した画像でボックス座標と分類スコアを比較する必要性を示している。この報告から推測すると、モデルが正常に読み込まれたことを確認するだけでは、計算構造の変化を見つけられない可能性がある。今後は、影響を受けるバージョン範囲についてのメンテナーの確認、条件に応じた重み共有の修正、完全なデータセットでの評価が注目点となる。報告者が手作業で重みを復元した方法は、現時点では診断実験にすぎず、正式な修正にはなっていない。