返回首頁

GitHub Repo

Transformers 社群回報 LLMDet 權重共用缺陷,偵測框可能偏離物件

10 月 12 日的 Transformers 社群回報指出,MM Grounding DINO 與 LLMDet 載入時可能忽略設定,將不同解碼層的偵測頭綁定至同一組權重。案例附有重現程式與座標對照,但尚無維護者確認、正式修補或完整準確率評估。

prayitno from Los Angeles, USA · CC BY 2.0 · Image source
zh-Hant

Transformers 社群於 10 月 12 日提出一項物件偵測模型載入問題:MM Grounding DINO 類別可能把各解碼層的邊界框與分類頭,全部綁定至第零層,即使模型設定明確要求各層獨立。回報者使用 Transformers 5.18.0,並指出 5.19.0 與主分支具有相同綁定規則;截至查核時,議題仍開放,尚無維護者確認。問題回報

這項差異涉及模型載入後的實際計算結構。LLMDet tiny 的公開設定包含六個解碼層,且 decoder_bbox_embed_share、decoder_cls_embed_share 均為 false。模型卡說明,LLMDet 透過大型語言模型共同訓練強化開放詞彙偵測,但發布的推論檢查點不包含訓練用語言模型,推論方式與 MM Grounding DINO 相同。模型設定、模型卡

回報者以模型卡的貓與遙控器圖片,在 CPU、單精度環境比較預設載入與逐層還原檢查點權重的結果。預設載入時,一隻貓的框上緣位於影像外,另一隻的下緣超出影像高度;還原各層偵測頭後,框座標明顯改變。作者也指出,分類頭具有可學習偏置,共用它同樣可能改變分數。這是單一案例的對照,不能直接換算為整體準確率損失。重現程式與輸出

對工程團隊而言,這提示升級框架時應驗證權重是否按設定保持獨立,並以固定影像比較框座標與分類分數。依此回報推論,只確認模型成功載入,可能不足以發現計算結構已改變。接下來應關注維護者對版本範圍的確認、條件式權重綁定修補,以及完整資料集評估;作者手動還原權重的做法目前僅是診斷實驗,尚未成為正式修補。

來源

  1. MM Grounding DINO and LLMDet decoder heads incorrectly tied — Issue #49529
  2. LLMDet tiny 模型卡
  3. LLMDet tiny config.json