GitHub Repo
Transformers 維護者重現 T5Tokenizer 相容性問題,未知字片可能被編成結束符號
11 月 16 日的問題回報指出,Transformers v5 載入特定 SentencePiece 詞表時,會把未知字片錯誤編成結束符號。維護者翌日確認可重現,但截至查核時尚無正式修補。
Transformers 的分詞器相容性出現一項已獲維護者重現的問題。11 月 16 日提交的回報指出,v5 的 T5Tokenizer 在載入未知字片編號不同於原始 T5 的 SentencePiece 模型時,可能輸出錯誤 token ID;專案成員 Rocketknight1 於 17 日表示已在本機重現。問題與維護者回覆
案例使用 rinna/japanese-gpt2-small。其官方設定確實指定 T5Tokenizer,並分別定義 <unk> 與 </s>;模型卡也說明詞表以 SentencePiece 訓練。因此,問題涉及既有模型沿用分詞器類別的載入相容性,不能只按模型名稱是否包含 T5 判斷。官方分詞器設定、模型卡
回報的最小案例輸入「ABCの本を読んだ。」時,未知字片「AB」應對應編號 0,實際卻成為編號 2,也就是該詞表的結束符號。即使查詢 unk_token_id 仍得到正確的 0,編碼結果依然出錯。回報者在 5.0.0、5.22.1 與 5.23.0 重現,並表示 4.57.6 結果正確。重現程式與輸出
回報將原因指向建立 Unigram 後端時寫死的 unk_id=2:這符合原始 T5 詞表排列,卻不適用於所有共用類別的模型。其暫解是依原始 SentencePiece 的詞片、分數及未知字片編號重建後端;回報者表示結果可與舊版一致,但目前仍屬個案驗證。原因分析與暫解
對工程團隊而言,這顯示升級後僅確認模型可載入、特殊符號屬性正確,仍不足以驗證輸入語義。依上述機制推論,錯誤 ID 可能改變模型接收的序列,但現有證據未量化生成品質,也不能直接推定所有請求會提前停止。後續應追蹤依詞表取得未知字片編號的修補,以及非標準詞表回歸測試;部署端可先比對原生 SentencePiece 與升級前後的實際編碼。目前處理狀態