GitHub Repo
TransformersメンテナーがT5Tokenizerの互換性問題を再現、未知のサブワードが終了トークンに誤変換される可能性
11月16日のバグ報告によると、Transformers v5では、特定のSentencePiece語彙を読み込む際に未知のサブワードが誤って終了トークンにエンコードされる。メンテナーは翌日に再現を確認したが、確認時点で正式な修正はない。
Transformersのトークナイザー互換性に関する問題が、メンテナーによって再現された。11月16日に投稿された報告によると、v5のT5Tokenizerは、未知のサブワードIDが元のT5と異なるSentencePieceモデルを読み込むと、誤ったトークンIDを出力する可能性がある。プロジェクトメンバーのRocketknight1は17日、ローカル環境で再現したと述べた。問題報告とメンテナーの返信
報告ではrinna/japanese-gpt2-smallを使用している。同モデルの公式設定ではT5Tokenizerが指定され、<unk>と</s>は別々に定義されている。モデルカードには、語彙がSentencePieceで学習されたことも記載されている。したがって、この問題は既存モデルがトークナイザークラスを引き続き使用する際の読み込み互換性に関わるものであり、モデル名にT5が含まれているかどうかだけでは判断できない。公式トークナイザー設定、モデルカード
報告にある最小再現例では、「ABCの本を読んだ。」を入力すると、未知のサブワード「AB」はID 0になるはずだが、実際にはID 2、つまりその語彙における終了トークンに変換される。unk_token_idを照会すると正しい値の0が返るにもかかわらず、エンコード結果は誤ったままだった。報告者は5.0.0、5.22.1、5.23.0で再現し、4.57.6では正しい結果になったと述べている。再現コードと出力
報告では、Unigramバックエンドの作成時にunk_id=2が固定されていることが原因として挙げられている。この値は元のT5の語彙順には合うものの、同じクラスを使うすべてのモデルに適用できるわけではない。報告者は、元のSentencePieceからサブワード、スコア、未知サブワードIDを取得してバックエンドを再構築する方法を暫定策として示した。旧バージョンと一致する結果が得られたというが、現時点では個別のケースでの検証にとどまる。原因分析と暫定策
エンジニアリングチームにとって、この問題は、アップグレード後にモデルを読み込めることと特殊トークンの属性が正しいことを確認するだけでは、入力の意味が保たれているかを検証できないことを示している。上記の仕組みから、誤ったIDによってモデルが受け取る系列が変わる可能性は推測できるが、生成品質への影響は現時点の証拠では定量化されておらず、すべてのリクエストが早期終了すると結論づけることもできない。今後は語彙から未知サブワードIDを取得する修正と、標準外の語彙を対象とした回帰テストの追加を追跡するとよい。デプロイ側では、ネイティブのSentencePieceと、アップグレード前後の実際のエンコード結果を比較できる。現在の対応状況