Transformers 社群重現 SAM3 位置編碼精度問題，bf16 載入可能改變分割結果

Hugging Face Transformers 於 10 月 23 日收到 SAM3 精度回歸回報：以 dtype=torch.bfloat16 載入模型後，全域注意力層的旋轉位置編碼（RoPE）座標可能出現捨入誤差。回報者在 5.20.2 與 5.17.0 重現問題，並表示 5.13.0 至 5.16.1 未出現相同現象；這是社群測試結果，尚不能視為完整版本影響清單。技術回報

問題集中在 position_ids 的建立方式。全域注意力使用縮放後的分數座標，若建立張量時沿用 bf16 預設型別，數值便先失去精度，再送入 RoPE 計算。另一名參與者以隨機初始化的小型 CPU 模型重現全域層座標誤差；其分析也指出，視窗層使用整數位置，因此沒有相同的數值偏移。重現與分析

這項差異可能傳到最終輸出。原始回報在部分影像觀察到物件分數跨過篩選門檻，並提出以 fp32 執行或重新建立 fp32 位置座標作為暫時繞過方式。目前沒有足夠證據將個別案例換算成整體準確率降幅，也不宜直接推廣至其他影片模型。回報結果

SAM3 可依文字或影像範例找出符合概念的物件，回傳實例與語意分割結果。官方範例在後處理階段設定分數及遮罩門檻，因此工程上的關鍵是：連續的數值偏差，可能經門檻篩選變成離散的物件數量差異。這是依文件流程與回報所作的技術判讀。官方文件

對使用 SAM3 建立標註或影像分析流程的團隊，這起事件提示升級驗證應納入原始分數、門檻附近樣本及物件數量，而非只查看遮罩外觀。測試時也應固定提示、解析度與後處理設定，分別比較版本及數值型別。接下來值得追蹤的是位置座標是否明確保留 fp32、回歸測試是否涵蓋 bf16 載入，以及修補何時進入正式版本；截至查核時，議題仍開啟，未列出修復 PR。