Transformers 社群回報 SAM 3 提示結構差異，純文字路徑可能漏傳幾何 CLS token

Transformers 的 SAM 3 移植版本出現提示結構一致性疑問。10 月 14 日公開的議題指出，Sam3Model 在只有文字、沒有框選等幾何提示時，會略過幾何編碼器，讓後續 DETR 編碼器與解碼器只收到文字 tokens。回報環境為 Transformers 5.19.0，作者並指出當時主分支存在相同路徑。社群議題

這條路徑直接對應常見用法。SAM 3 可依文字概念找出影像中相符物件，輸出實例與語意分割結果；Hugging Face 官方文件的第一個範例，就是將圖片與「ear」文字交給處理器，再呼叫模型，使用者不必提供邊界框。因此，這項回報涉及文件明列的基本推論流程。官方文件

作者以模型掛鉤記錄模組呼叫與提示長度：純文字案例沒有呼叫幾何編碼器，DETR 收到 32 個 tokens；文字加框則呼叫一次，收到 34 個。依議題所列的 Meta 程式碼與設定，參考實作即使沒有實際幾何提示，仍會執行幾何編碼器，附加可學習的 CLS token；相同純文字案例預期應為 33 個。技術疑點在於，推論時的提示序列可能偏離檢查點訓練時的結構。重現程式與參考路徑

同日有參與者表示已提出修補，移除外層條件判斷並加入單元測試；另一名參與者也回報在 macOS 獨立重現。不過，截至查核時，議題仍開啟，公開討論仍在請求維護者確認預期行為，尚不能視為正式修補完成，也沒有完整分割評測可量化品質差距。修補與重現討論

對建立標註或視覺評測流程的工程師，這提醒了跨框架重現不能只核對權重與前處理。後續應追蹤維護者判定、修補收錄版本，以及固定圖片、文字和後處理門檻下的遮罩與分數對照；目前的序列長度證據，仍不足以推定所有純文字分割結果都會失準。