Transformersコミュニティがトークナイザーの正規化設定の消失を報告、WeMMの入力に改行トークンが追加される可能性

Transformersコミュニティは10月13日、埋め込みモデルの互換性に関する問題を報告した。tencent/WeMM-Embedding-2Bを読み込む際、トークナイザークラスの変更によってtokenizer.jsonの正規化設定が無効になる可能性があるという。報告者によると、以前は削除されていた末尾の改行が残り、同じテキストでもアップグレード後に異なるトークン列が得られる。確認時点で、このIssueはオープンのままで、メンテナーによる確認は見られない。Issue

最小再現例では、AutoTokenizer.from_pretrainedでモデルを読み込み、会話マーカーを含むテキストをadd_special_tokens=Falseでエンコードする。報告者が示した結果では、5.17では5個のトークンだったのに対し、5.19では末尾にIDが198のトークンが追加された。報告では、変化は5.18から始まり、原因は読み込みクラスが汎用の高速トークナイザーからQwen3_5Tokenizerに変わったことだと推測している。これらのバージョン差は現時点では報告者が提示した再現結果であり、すべてのモデルに影響すると一般化することはできない。再現コードと出力

技術的なリスクは、埋め込み出力の取得位置にある。報告者によると、このモデルは最後のトークンを読み取るため、末尾に改行が追加されると埋め込みが変化する。Tencentのモデルカードでは、WeMM-Embedding-2BはQwen3.5を基盤とし、テキスト、画像、動画、視覚文書に対応し、L2正規化された2,048次元ベクトルを出力すると説明されている。インストール例ではtransformers==5.2.0が明示的に固定されている。モデルカードには新版との互換性についての記載も、今回の問題に関する品質テストもない。公式モデルカード

ベクトル検索を運用するエンジニアリングチームにとって、ここから推測できるリスクは、クエリ側と文書インデックス側で前処理の挙動が異なる場合、同じ重みを使っていても一貫しないベクトルが生成される可能性があることだ。ただし、再現率やランキングへの損失を定量化する証拠はまだない。アップグレードを検証する際は、固定したサンプルのトークンID、埋め込みの類似度、検索結果をまず比較し、そのうえでインデックスを更新するか判断するのがよい。今後は、メンテナーが再現できるか、正規化設定がどのように保持されるか、修正が保存後の再読み込み手順も対象とするかを確認する必要がある。