ReRound、拡散事前分布で量子化の丸めを再選択──3／4ビット小型モデルの平均精度が最大1.6ポイント向上

低ビット量子化では通常、重みの丸めに round-to-nearest（RTN）が用いられる。しかし、2つの量子化値の中点付近では、切り上げと切り下げのスカラー誤差がほぼ同じでも、小さな選択の積み重ねによって線形層全体が変化する可能性がある。8月11日に公開された [ReRound](https://arxiv.org/abs/2608.11045) は、こうした曖昧な丸め判断を重点的に再検討する手法で、キャリブレーション用テキスト、activation、下流タスクのラベルを一切使用しない。

この手法ではまず、量子化対象モデルの重み行列から64×64のブロックを切り出し、低ビットの観測値から連続値の重みを再構成する条件付きU-Net拡散モデルを学習する。再構成値は丸め方向を決める事前分布としてのみ使われ、デプロイ時の重みにはならない。量子化区間の中点から離れた値には、引き続きRTNを適用する。複数の許容値から整数重みの候補を生成し、逆量子化した行列と元の行列の上位特異値を比較して、主要な変換構造をよりよく保持できる候補を選択する。

Gemma、Qwen3、OLMo、SmolLM2、Llama、Pythia、Phiなど、1B～2.7Bの8モデルを対象とした評価では、scale、zero-point、group size 128、量子化対象レイヤーの範囲を同一にした条件で、ReRoundの3ビットおよび4ビットにおける4タスク平均スコアはいずれもRTNを上回り、0.1～1.6パーセントポイント向上した。また、6モデルの4ビット比較では、128件のC4キャリブレーションサンプルを使用するAdaRoundも上回り、最大1.9ポイントの差を記録した。

コストはオフライン工程に集中する。論文によると、拡散モデルの学習にはGPU 2基で約1.76～3.43時間、再構成にはGPU 1基でさらに3.65～9.55時間を要する。完了後の実際の量子化処理は約42～124秒で、推論時の形式はRTNと同じである。[ライブラリ](https://github.com/louisYen/ReRound)では、すでにRTX 3090／4090向けの設定が提供されている。ただし、評価は4つのゼロショットタスクと単一の乱数シードに限られており、スペクトルの類似性が特定の下流タスクでの最良性能を保証するわけでもない。さらに、checkpointごとに拡散モデルを再学習するため、多数のモデルバージョンを扱う場合には費用対効果が見合わない可能性がある。