ホームへ戻る

GitHub Repo

TransformersでEOS設定によりBOSが削除されるとの報告、Llama・Gemma・Mistralのトークン化結果に影響

11月19日の不具合報告によると、Transformers 5.23.0ではシーケンス終端トークンの設定時に先頭トークンが誤って削除される場合があり、保存後も異常な結果が残るという。翌日には別のユーザーも再現したが、確認時点で正式な修正版はまだ特定されていない。

zh-Hant

Hugging Face Transformersで、新たなトークナイザー互換性に関する報告が寄せられた。AutoTokenizer経由で読み込んだ一部のLlama、Gemma、Mistralチェックポイントで、add_eos_tokenを設定すると、既存のBOS(シーケンス先頭トークン)も同時に削除される可能性があるという。問題は11月19日に報告され、Transformers 5.23.0と当時のメインブランチが対象となった。20日には別のユーザーがLlama 2で同じ挙動を再現した。不具合報告

報告にある最小の再現例では、「hello」のエンコード結果を比較している。Llama 2は旧バージョンでは先頭トークンと終端トークンの両方を保持していたが、新版ではEOSを設定すると、テキストと終端トークンだけが残った。読み込み時の引数でも、読み込み後の属性変更でも発生し、save_pretrainedで保存して再読み込みしても元に戻らなかった。そのため、この異常は単一の実行時だけにとどまらず、トークナイザーの成果物に含まれて後続の処理に持ち込まれる可能性がある。再現コードと出力

報告者は、2つの状態が一致していないことを原因として挙げている。tokenizer.jsonの後処理器は当初BOSを追加する設定だった一方、Python側のフラグは無効に初期化されていた。EOSを変更すると、プログラムがそのフラグに基づいてテンプレートを再構築し、BOSも削除してしまう。公式ドキュメントではBOSとEOSの追加はそれぞれ独立したオプションとして説明され、後処理器が先頭・末尾のトークンを付加するとされている。今回の問題は、設定と実際のテンプレートの同期に関わるものとみられる。公式トークナイザードキュメント

エンジニアリング上のリスクは、入力シーケンスが気づかないうちに変わることだ。この仕組みから推測すると、ファインチューニング用データ、オフライン評価、デプロイ環境で異なるトークン化結果が使われた場合、結果の比較可能性が損なわれるおそれがある。現時点で報告はモデル品質への影響を定量化しておらず、同じシリーズの全モデルに影響すると結論づけることもできない。アップグレードを準備するチームは、少数のテキストサンプルを固定し、token ID、先頭・末尾のトークン、保存・再読み込みの前後での結果を比較できる。

修正では、モデル設定ファイルと既存の後処理器が矛盾するケースにも対処する必要がある。どちらか一方を単純に優先すると、他のチェックポイントのデフォルトのエンコード結果が変わる可能性がある。正式な修正が、読み込み引数、属性変更、シリアライズという3つの経路を網羅するか、またモデルをまたいだ回帰検証が行われるかを引き続き確認したい。修正方針をめぐる議論

出典

  1. v5: add_eos_token drops the BOS token for Llama, Gemma and Mistral tokenizers — Issue #50985
  2. Transformers Llama tokenizer documentation