ICBQが量子化ブロックの継ぎ目を再検証、Qwen3‑8Bの三値モデルのパープレキシティを5752.9から29.9へ低減

既存のクロスブロック後学習量子化では通常、2つのTransformer blockをウィンドウとして、モデルの前段から後段へ順にキャリブレーションする。ウィンドウが移動した後は、先に生じた誤差が再処理されることはない。Interleaved Cross-Block Quantization（ICBQ）が変更するのは重みのエンコーディングや損失関数ではなく、スケジューリングだ。ネットワークを複数のchunkに分割し、各chunkの継ぎ目にあるブロックのペアを、まず前の区間の末尾で最適化し、次の区間の先頭でもう一度最適化する。

この設計は三値DBFに適用できるほか、GPTQを内部量子化器として使用することもできる。C4でキャリブレーションした三値実験では、Qwen3‑8Bのパープレキシティは通常の逐次クロスブロック量子化で5752.9だったが、chunk size 4のICBQを採用すると29.90まで低下した。Mistral‑7Bは31.1から16.8へ、Qwen3‑14Bは44.82から24.67へ低下した。主要7モデルの三値比較では、すべてでパープレキシティが改善した。平均zero-shot精度も6モデルで同等以上だったが、Llama‑2‑13Bだけは例外で、逐次版のほうがわずか0.0002高かった。

ただし、この効果にはコストが伴う。11モデルの完全な量子化に要する時間は、逐次手法の平均1.21倍になった。Qwen3‑14Bでは約15時間から19時間39分に増加した。キャリブレーション用activationの保存に必要なメモリも増え、7B／8Bクラスの設定では約4.3GB、13B／14Bクラスでは約5.2GBの追加メモリを要する。これはオフラインでcheckpointを生成する際の品質とコストのトレードオフであり、推論スループットの向上を意味するものではない。

エンジニアリング上の重要な示唆は、低ビット量子化の失敗が量子化codebookだけでなく、最適化の順序に起因する可能性があることだ。既存のGPTQまたはクロスブロックpipelineでも、継ぎ目を再訪する処理を追加できる可能性がある。ただし、キャリブレーション時間、ピークメモリ、下流タスク、および実際のkernel速度を併せて測定すべきだ。論文ではコードも量子化済みcheckpointもまだ公開されていない。独立した再現が行われるまでは、Qwenで見られた大幅な改善が、著者らのDBF実装とキャリブレーション設定に強く依存している可能性もある。