Qwen3.8‑27B GGUFがテンソル単位の構成に移行、同じ量子化名でも旧版のビット割り当てを意味せず

Hugging Faceコミュニティの量子化メンテナーであるBartowskiは、新しいper-tensor layoutを用いてQwen3.8‑27B GGUFを再構築した。従来のllama.cppのルールでは、テンソル名とモデルタイプに基づいて固定の量子化形式を適用していた。新しいプロセスでは、まず複数モデルにまたがる測定から得た感度の事前情報を使用し、量子化誤差に対してより敏感な重みに追加のビットを割り当てる。各モデルは引き続き「canary」チェックを通過する必要があり、新しい構成がファイルサイズに対するKullback–Leibler divergence（KLD）の曲線でベースラインを上回らなければ、従来のヒューリスティックなルールに戻される。

今回のリリースでは、完成済みファイルだけでなく、各対象ファイルについて、実際に`llama-quantize --tensor-type-file`へ渡されたテンソル一覧と、生成ツール、llama.cppのバージョンおよびcommitを記録したJSONも提供されている。このため、第三者も少なくともビット構成を再現できる。Qwen3.8‑27Bのモデルカードによると、同一ファイルサイズにおける標準構成の曲線と比較したQ6_K、Q4_K_M、Q3_K_M、IQ2_XXSのKLD比率は、それぞれ0.96、0.94、0.79、0.78だった。1未満の比率は、同氏の測定手法においてビット効率が高いことを示すものであり、モデルのタスクスコアが同じ割合で向上したことを意味しない。

命名上の互換性は、最も注意が必要な点だ。新しいS、M、Lは、モデル本体の約90%、70%、50%が基本の量子化タイプを維持し、残りの容量を感度に応じて追加配分することを表す。そのため、`Q4_K_L`と`Q6_K_L`は、もはやembeddingとoutputの重みだけをQ8_0のまま保持する構成ではない。従来の`Q2_K_L`、`Q3_K_XL`、`Q5_K_L`は再構築されていないものの、現在もリポジトリに残っている。自動ダウンロードスクリプトでは、revision、SHA256、正確なファイル名をすべて固定すべきだ。

新しい量子化ファイルでも画像projectorとMTP層は維持されており、最近のllama.cppでは`--spec-type draft-mtp`を指定してspeculative decodingを有効化できる。ただし、公開されている根拠は主として、メンテナーが固定のテキストサンプルで測定したperplexity、KLD、top-p一致率であり、中国語、コード、視覚、tool callingに関するタスクレベルの評価はまだ含まれていない。エンジニアリングチームは、これらのファイルを透明性の高い量子化候補として扱うべきであり、旧版を全面的に上回ることが実証済みの直接的な代替品とみなすべきではない。