返回首頁

GitHub Repo

Transformers 回報 EOS 設定移除 BOS,Llama、Gemma 與 Mistral 分詞結果受影響

11 月 19 日的問題回報指出,Transformers 5.23.0 在設定序列結束符號時,可能意外移除開頭符號,且儲存後仍保留異常結果。翌日已有另一位使用者重現,但截至查核時,尚未確認正式修補版本。

zh-Hant

Hugging Face Transformers 出現新的分詞器相容性回報:部分 Llama、Gemma 與 Mistral 檢查點透過 AutoTokenizer 載入後,設定 add_eos_token 可能同時移除原有的 BOS,也就是序列開頭符號。問題於 11 月 19 日提出,涵蓋 5.23.0 與當時主分支,20 日另有使用者重現 Llama 2 的相同行為。問題回報

回報中的最小案例以「hello」比較編碼結果:Llama 2 在舊版保留開頭與結尾符號,新版設定 EOS 後卻只剩文字與結尾符號。透過載入參數或事後修改屬性都能觸發,經 save_pretrained 儲存再載入也未恢復。因此,異常可能隨分詞器產物進入後續流程,而不只存在於單次執行。重現程式與輸出

回報者將原因指向兩份狀態不一致:tokenizer.json 的後處理器原本會加入 BOS,但 Python 端旗標初始化為關閉;修改 EOS 時,程式依旗標重建模板,便把 BOS 一併移除。官方文件則將加入 BOS 與 EOS 列為各自獨立的選項,並說明後處理器負責編碼首尾符號,顯示這次問題涉及設定與實際模板的同步。官方分詞器文件

工程上的風險是輸入序列悄悄改變。依此機制推論,微調資料、離線評測與部署端若使用不同分詞結果,可能失去可比性;目前回報尚未量化模型品質損失,也不能推廣為所有同系列模型皆受影響。準備升級的團隊可固定少量文字樣本,比對 token ID、首尾符號,以及儲存重載前後的結果。

修補還須處理模型設定檔與既有後處理器互相矛盾的情況,單純指定其中一方優先,可能改變其他檢查點的預設編碼。後續應關注正式修補是否涵蓋載入參數、屬性修改與序列化三條路徑,以及跨模型的回歸驗證。修補取捨討論

來源

  1. v5: add_eos_token drops the BOS token for Llama, Gemma and Mistral tokenizers — Issue #50985
  2. Transformers Llama tokenizer documentation