GitHub Repo
Transformers 社群回報音訊模型快取保留引用,反覆載入可能累積 GPU 記憶體
11 月 16 日的 Transformers 問題回報指出,Xcodec 與 Higgs Audio V2 Tokenizer 的方法快取可能阻止模型物件回收。回報附 CPU 最小重現程式,但完整版本影響範圍與正式修補狀態仍待確認。

Transformers 社群於 11 月 16 日新增音訊模型記憶體回收問題:使用者指出,Xcodec 與 Higgs Audio V2 Tokenizer 執行特定長度計算後,即使刪除模型引用並執行垃圾回收,物件仍可能存活。回報環境使用 Transformers 5.15.1,並稱主分支保留相同程式碼;這仍是使用者診斷,尚不能推定所有版本均受影響。問題回報
焦點是 _get_conv1d_layers 上的 lru_cache。Python 官方文件說明,這類快取會保留參數與回傳值的引用,直到項目被淘汰或快取清空;套用於實例方法時,參數也包含 self。因此,刪除呼叫端變數不代表模型已失去所有引用,快取仍可能延長整個物件的生命週期。Python 官方文件
回報提供不需下載權重的 CPU 測試,以隨機初始化模型與弱引用比較回收結果:未呼叫長度計算時可釋放,呼叫後則仍存活。使用者另稱,實際語音服務反覆載入時,每次留下約 770 MB 的 FP32 codec 權重;清除該方法快取後,六次重載的顯示記憶體用量保持平穩。這些數字尚無獨立驗證。重現與觀察
這條路徑與音訊服務有直接關係。Hugging Face 官方範例使用 HiggsAudioV2TokenizerModel.encode() 將音訊轉為代碼,再交由 decode() 還原;文件將其定位於即時或大規模音訊處理。對任務間卸載模型以騰出容量的部署而言,若物件持續被引用,容量規劃就可能低估長時間運作的需求。模型文件
目前討論提出移除快取或改採實例內快取。工程師接下來應關注回收測試是否涵蓋兩種模型、修補是否合併,以及連續載入與卸載的實測結果。依上述引用機制推論,只檢查單次推論峰值不足以辨識這類問題;部署驗證也需要觀察多輪任務結束後的記憶體基線。修補方向討論