GitHub Repo
Transformers 社群回報 DeBERTa 正規化退步，全形字元與中文部首可能變成未知 token
10 月 15 日的 Transformers 社群回報指出，v5 的 DeBERTa tokenizer 可能漏用 SentencePiece 正規化規則，使部分相容字元編碼為未知 token。另一名參與者已獨立重現，但正式修補與下游準確率影響仍待確認。
Transformers 社群於 10 月 15 日提出 DeBERTa 分詞相容性回報：相同模型權重與輸入，在 5.19.0 和 4.57.6 可能產生不同 token。案例中的全形英文字母、圈號數字與連字字形，在新版變成 [UNK]，舊版則能轉為可辨識的字詞。另一名參與者補充，中文 PDF 擷取可能出現的康熙部首「⾊」，也未如參考實作轉成「色」。議題與重現程式
回報者將原因指向 v5 載入路徑：SentencePiece 的預編譯字元映射雖然被傳入，DebertaV2Tokenizer 卻未將它加入正規化流程，保留的 NFC 無法取代模型原有的 nmt_nfkc 規則。Unicode 規範區分典範等價與相容等價；NFKC 會處理圈號、寬度等相容差異，NFC 則保留這些區別。因此，字形看起來合理，不代表分詞輸入仍與訓練時一致。技術分析、Unicode 正規化規範
這項差異對中文文件管線的意義，在於錯誤可能出現在模型推論之前。工程上的推論是：若分類、重排序或提示注入偵測器使用受影響 tokenizer，未知 token 增加可能改變判斷；目前尚無下游任務量測，不能據此宣稱準確率已下降。Microsoft 模型卡也顯示 DeBERTa-v3 使用固定詞彙表與下游微調流程，部署驗證需要涵蓋輸入編碼。官方模型卡
回報者提出恢復預編譯正規化器，並稱本機測試可通過；截至查核，議題仍開啟，尚無正式修補版本。維護者是否採納修補、存檔後重載能否維持一致，以及真實中文語料的 token 與任務分數差異，是後續重點。部署者可先比較模型原始 SentencePiece 與現行 tokenizer 的輸出，將全形字母、圈號及 PDF 部首納入升級檢查。修補提案與討論