Transformers 社群回報分詞正規化遺失，WeMM 嵌入輸入可能多出換行 token

Transformers 社群於 10 月 13 日回報一項嵌入模型相容性問題：載入 tencent/WeMM-Embedding-2B 時，分詞器類別改變可能使 tokenizer.json 的正規化設定失效。回報者指出，原本會被移除的結尾換行因此留下，讓相同文字在升級後得到不同 token 序列。截至查核，議題仍開啟，未見維護者確認。問題回報

最小重現透過 AutoTokenizer.from_pretrained 載入模型，並以 add_special_tokens=False 編碼含對話標記的文字。作者列出的 5.17 結果為五個 token，5.19 則在尾端增加 ID 為 198 的 token；回報將變化起點指向 5.18，並認為原因是載入類別由通用快速分詞器轉成 Qwen3_5Tokenizer。這些版本差異目前屬作者提供的重現結果，尚不能擴大為所有模型都會受影響。重現程式與輸出

技術風險在於嵌入輸出的取值位置。回報者表示，這款模型讀取最後一個 token，因此尾端多出換行會改變嵌入。騰訊模型卡則說明，WeMM-Embedding-2B 建立於 Qwen3.5，支援文字、影像、影片與視覺文件，輸出經 L2 正規化的 2,048 維向量；安裝範例明確固定 transformers==5.2.0。模型卡並未宣告新版相容性，也沒有提供這次問題的品質測試。官方模型卡

對維護向量檢索的工程團隊而言，可推導的風險是：若查詢端與文件索引端採用不同前處理行為，即使權重相同，也可能產生不一致的向量。但目前沒有證據量化召回率或排序損失。升級驗證宜先比較固定樣本的 token ID、嵌入相似度及檢索結果，再決定是否更新索引；後續應追蹤維護者能否重現、正規化設定如何保留，以及修補是否涵蓋儲存後重新載入的流程。