GSQ-RCO、テンソル感度に応じてビットを割り当て、Qwen3.8-27Bを8.4GBの標準GGUFに圧縮

オーストリア科学技術研究所（ISTA）のDASLabは、Qwen3.8-27BのGSQ-RCO GGUFを公開した。2.50、2.75、3.00 bpwの3種類を提供し、ファイルサイズはそれぞれ8.4GB、9.3GB、10.1GB。これとは別に、0.9GBのBF16ビジョンプロジェクターも用意されている。すべての重みに同じ形式を適用する均一量子化とは異なり、これらのモデルでは、タスク損失に対する各テンソルの感度に応じて異なる量子化タイプを選択する。最終的な出力は標準GGUFのままであり、llama.cpp、Ollama、LM Studioを変更する必要はない。

このプロセスは、既存の2つの研究成果を組み合わせている。GSQはGumbel-Softmax緩和を用いて離散的な量子化グリッドを微分可能な問題へ変換し、各座標のグリッド割り当てとグループごとのスケール値を同時に学習する。一方、RCOは総容量の制約をリーマン多様体上の制約として定式化し、タスク損失を直接利用して各テンソルに割り当てる量子化形式を探索する。これにより、レイヤーごとの精度を手作業で設定するのではなく、厳密なファイル容量の範囲内で、感度の高い重みにより多くのビットを割り当てられる。

チームの測定では、9.3GB版はAIME25でBF16ベースラインと同じ100点を記録した。10.1GB版も、GPQA-DiamondおよびLiveCodeBench v6でベースラインとの差が約1点にとどまった。さらに、最小版は5つのゼロショット評価の平均でBF16をわずかに上回った。ただし、量子化モデルがベースラインを上回る場合があるのは評価のばらつきによる可能性があり、圧縮によって能力が一般的に向上すると解釈すべきではない。現在の結果には、長時間稼働するエージェント、ツール呼び出しの安定性、ビジョンタスク、異なるハードウェア上での実効スループットも含まれていない。エンジニアリングチームは次の段階として、自社のプロンプト分布を用いた回帰テストを実施し、低ビットカーネルがディスク容量とVRAM使用量を削減するだけでなく、実際にレイテンシーと消費電力の改善をもたらすか確認する必要がある。