Transformers 社群回報提示查找解碼異常，CFG 與 SynthID 設定下輸出可能改變

Transformers 新增一項推論正確性回報：開啟原本用來加速生成的提示查找解碼後，搭配無分類器引導（CFG）或 SynthID 文字浮水印，可能得到不同的 token 序列。回報者表示，問題可在 5.21.0 與指定主線提交重現；目前議題仍開放，未連結修補 PR。社群回報

提示查找解碼利用輸入中重複出現的 n-gram 提供候選 token，再由模型驗證，適合摘要等輸出與輸入有大量重疊的任務。官方將其列為推測解碼的變體，可用於貪婪解碼與抽樣。這類最佳化的核心價值，是減少逐步推論成本，同時維持生成語意；因此，確定性設定下的輸出差異值得追查。官方推論文件

回報以小型隨機 Llama 模型在 CPU 執行，設定 do_sample=False，比較停用提示查找與 prompt_lookup_num_tokens=3。一般貪婪解碼及重複懲罰兩組對照結果相同；加入 guidance_scale=1.5 後，第二個新 token 開始分歧，SynthID 組則從第一個新 token 就不同。這是特定設定的重現結果，尚不能推及所有模型或生成模式。測試程式與輸出

回報者的根因分析指向處理器狀態：候選篩選與驗證會額外呼叫 logits 處理器，連遭拒絕的草稿位置也可能推進內部狀態。官方文件確認，CFG 處理器會使用無條件分支的 KV 快取，SynthID 則維護 token 上下文與浮水印相關狀態；這說明了為何兩者需要額外檢查，但不等於官方已確認本次根因。處理器文件

對工程團隊而言，這項回報提示加速測試應同時檢查輸出一致性。使用上述組合者可先在自身模型比較開關前後的 token，並追蹤後續是否加入相容性限制或狀態回復機制。目前沒有浮水印偵測率、正式模型品質或效能影響數據，不能據此宣稱 SynthID 已失效。