Transformers 社群回報 CLAP 前處理異常，批次大小可能改變音訊檢索結果

Hugging Face Transformers 社群於 10 月 28 日提出 CLAP 音訊前處理問題：當批次內所有片段都未超過長度上限，ClapFeatureExtractor 在 fusion 模式仍會隨機挑一段，將 is_longer 設為真。單筆推論因此固定走融合分支；較大批次則可能每次挑中不同片段。問題回報

CLAP 透過對比學習連結音訊與文字，可用於音訊檢索及分類。官方文件將 fusion 描述為長音訊的多視角處理：組合三段隨機裁切與完整頻譜的降採樣版本；短音訊則補齊後複製成四份。這使前處理如何選擇融合分支，成為評估實作一致性的重要環節。官方文件

回報者以 laion/clap-htsat-fused、957 段 AudioCaps 音訊及十秒裁切測試文字搜尋音訊。作者公布的第一名召回率 R@1，在批次大小為一時為 0.232，批次為八時約為 0.315 至 0.322；將短音訊旗標固定為假後，單筆結果升至 0.349。這些是特定測試條件下的社群數據，尚不能推廣為所有 CLAP 工作負載的差距。測試設定與結果

作者同日提交 PR #50101，移除隨機改寫旗標的程式，讓分支依音訊長度決定，並加入單筆、八筆及長短混合批次的回歸測試。作者回報局部測試有 17 項通過、4 項整合測試失敗，並稱後者在未修改主線上也會發生。截至查核時，PR 仍開啟，沒有維護者審查結果，不能視為正式修復。修補提案

對維護音訊向量索引的工程師而言，這項回報提示應將批次大小與前處理版本納入重現紀錄。依上述機制推論，若修補落地，既有短音訊嵌入可能改變，升級前宜比較固定樣本的向量與搜尋排序，再評估是否重建索引；後續則應追蹤維護者確認及正式版本收錄情況。