TransformersコミュニティがDeBERTaの正規化の後退を報告、全角文字や漢字部首が未知トークンになる可能性

Transformersコミュニティは10月15日、DeBERTaのトークン化互換性に関する問題を報告した。同じモデルの重みと入力でも、5.19.0と4.57.6では異なるトークンが生成される可能性がある。報告例では、全角英字、丸囲み数字、合字が新版では[UNK]になる一方、旧版では認識可能な語に変換された。別の参加者は、中国語PDFからの抽出で現れることがある康熙部首「⾊」も、参照実装のように「色」へ変換されなかったと補足した。issueと再現コード

報告者は原因をv5の読み込み経路にあると指摘している。SentencePieceの事前コンパイル済み文字マッピングは渡されているものの、DebertaV2Tokenizerがそれを正規化処理に組み込んでおらず、残されたNFCではモデル本来のnmt_nfkc規則を置き換えられないという。Unicode規格では、正準等価と互換等価を区別している。NFKCは丸囲み文字や幅などの互換性の違いを処理するが、NFCはそれらの区別を保つ。そのため、字形が妥当に見えても、トークン化への入力が学習時と一致しているとは限らない。技術分析、Unicode正規化仕様

中国語文書処理パイプラインへの影響として重要なのは、モデル推論の前に不整合が生じる可能性がある点だ。工学的には、影響を受けるtokenizerを使う分類器、再ランキング器、プロンプトインジェクション検出器では、未知トークンの増加によって判定が変わる可能性がある。ただし、現時点で下流タスクの測定結果はなく、精度が低下したとは断言できない。Microsoftのモデルカードによれば、DeBERTa-v3は固定語彙と下流タスク向けのファインチューニング手順を使用しているため、デプロイ時の検証では入力のエンコードも確認する必要がある。公式モデルカード

報告者は事前コンパイル済み正規化器を復元する修正を提案し、ローカルテストでは通過したとしている。確認時点ではissueは未解決で、正式な修正版もまだない。今後は、メンテナーが修正を採用するか、保存後に再読み込みしても一貫性が保たれるか、実際の中国語コーパスでトークンとタスクスコアにどの程度の差が出るかが焦点となる。デプロイ担当者は、モデル付属のSentencePieceと現行tokenizerの出力を比較し、全角英字、丸囲み文字、PDF由来の部首をアップグレード検証に含めるとよい。修正案と議論