返回首頁

GitHub Repo

Transformers 社群重提 RT-DETR 訓練損失錯配,舊版去噪查詢可能搶走正樣本

10 月 21 日的 Transformers 社群回報指出,5.14.1 的 RT-DETR 系列訓練可能將去噪查詢混入主損失,削弱正常查詢的正樣本監督。相關修補已於 9 月合併主分支,但此次實測尚待獨立重現,使用者應核對安裝版本。

Unknown authorUnknown author · Public domain · Image source
zh-Hant

Hugging Face Transformers 於 10 月 21 日收到 RT-DETR/RT-DETRv2 訓練異常回報:在 5.14.1 啟用去噪訓練時,主損失可能同時接收去噪與正常物件查詢,使推論階段使用的正常查詢失去正樣本監督。同日另一名參與者指出,主分支已有相關修補;這次消息的重點是舊版訓練結果與版本核對,尚不能認定為最新版本的新回歸。社群回報

RT-DETR 是即時物件偵測 Transformer。官方文件列出預設 300 個物件查詢,並以 num_denoising 控制對比去噪訓練,預設值為 100;標籤與邊界框會加入噪聲,形成額外訓練訊號。這讓訓練時的查詢集合包含用途不同的兩部分,損失函數必須正確區分。官方文件

已合併修補的說明確認,舊邏輯只在輔助損失等路徑切開去噪查詢,主損失仍對全部查詢執行匈牙利匹配。由於去噪正查詢接近真實標註,容易取得配對,正常查詢因而缺少正樣本。修補改為先依去噪中繼資料切分,再計算主損失,並加入回歸測試;該變更已於 9 月 11 日合併,也涵蓋 D-FINE。修補紀錄

新回報提供單類別 RT-DETRv2 R50 實測:在 20 張影像切塊的過擬合測試中,切分前後 mAP 從 0.04 變為 0.987。這是回報者的特定實驗,不能當成通用效能提升,也尚無獨立重現。實測說明

對正在微調模型的工程師,依上述機制可採取的查核方式,是固定資料與隨機種子,比較已安裝版本及含修補版本的正常查詢主損失與匹配索引。後續應關注回報者能否在最新主分支重現,以及 RT-DETRv2 在開關輔助損失時的測試覆蓋;目前查核資料尚未確定首次納入修補的正式版本。

來源

  1. RT-DETR / RT-DETRv2: main loss is computed on the denoising queries too
  2. Fix D-FINE / RT-DETR main loss being computed over the denoising queries
  3. RT-DETR — Transformers documentation