TokEval、18の内在的指標でtokenizerを選別——情報量指標は言語モデリング性能と最大0.80の相関

EPFLの研究者Clara Meisterは8月18日、TokEvalを公開した。tokenizerの選択を、圧縮率や人手による目視確認から、モデルの事前学習前に実行できる体系的な評価へ移行することを目指す。オープンソースのツールは18の指標と16の決定論的な健全性チェックを提供する。fertility、語彙使用率、Rényi efficiencyに加え、数値が右から3桁単位で分割されているか、演算子が独立して符号化されているか、プログラムtokenがtree-sitterで解析したASTの葉ノードと整合しているか、CJK文字やemojiなどのマルチバイト文字についてUTF-8境界が保たれているかを測定する。

著者らは、これらの指標が単に「妥当に見える」と主張するだけでなく、約1.27Bパラメータのdecoder-onlyモデルを46セット学習した。44種類のtokenizerでは、アルゴリズム、pretokenization、学習データの配合比をそれぞれ変更し、比較対象としてLlama 3とMistral-Nemoのtokenizerも加えた。同一の実験系列内ではアーキテクチャ、データ、ハイパーパラメータを固定し、bits-per-byte、言語理解、数学、プログラミングの各タスクを用いて、内在的指標が下流の結果を予測できるかを検証した。情報理論系の指標と言語モデリング性能とのSpearman相関は、絶対値で最大0.80に達した。一方、改行や数値分割などの構造的指標は、対応するタスクの正解率と相関した。

エンジニアリング上の価値は、高コストなtokenizer事前学習のsweepの一部を、低コストなcorpus検査へ前倒しできる点にある。`tokenizer-sanity-check`は、byte coverage、Unicode正規化、round-trip、特殊token、語彙の到達可能性に問題がある場合、非ゼロの終了コードを返すため、CIにも組み込める。このツールはローカルの`tokenizer.json`と複数のtokenizer backendをサポートし、広く使われている9種類のtokenizer、FLORES+の13言語、15のプログラミング言語について再実行可能なレポートも同梱する。

ただし、TokEvalは単一の「最良tokenizerスコア」を提示するものではない。各指標が説明力を持つのは一部の能力に限られ、結果は評価用corpusによっても変化する。主要な統計パネルに含まれるtokenizerは29種類のみで、モデルもnanochat 1.27Bアーキテクチャだけであり、long context、instruction following、open-ended generationは対象外だ。今後は、こうした関係がより大規模なモデル、異なるアーキテクチャ、中国語を高密度に含むデータにも拡張できるかを検証する必要がある。