QuantiBias、量子化モデルは短形式の安全性テストを通過しても、自由回答ではなお約4分の1がステレオタイプを生成すると指摘

新たに公開されたQuantiBiasベンチマークは、学習後量子化を単なる数値最適化ではなく、安全性評価を再実施すべきデプロイ上の変更として扱う。その手法では、モデルアーキテクチャ、学習、プロンプトを固定し、異なる精度の重みにのみ差し替えたうえで、有害な要求に対する回答拒否、通常の質問に対する過剰拒否、選択式問題におけるバイアス、さらに8言語でモデルが自発的にステレオタイプを生成する割合を並行して測定する。

著者らはQwen3.6-27Bの量子化段階について、StrongREJECTの直接拒否率は約0.98を維持し、XSTestの過剰拒否率とBBQの選択式問題スコアもおおむね変わらなかったと報告している。しかし、異なるモデルファミリーのClaude Sonnet-5を評価モデルとして使用すると、自由回答形式のMBTPにおけるステレオタイプ支持率は約24%から27%へ上昇した。2つ目のGemma-4-31Bバックボーンでは27.6%から31.7%へ上昇し、別の生成式CEBテストでは13.5%から37.6%に増加した。この研究の中心的な結論は、圧縮レベルが上がるほど必ず単調に悪化するというものではなく、短い回答を対象とする検査では生成挙動の変化をまったく捉えられない可能性があるという点だ。

公開ツールでは、8つの上流ベンチマークを再構成し、推論結果を生成し、異なるモデルを用いた評価によって立場と深刻度をラベル付けできるほか、GGUFファイルから実際のbits per weightを計算できる。これは重要な点だ。著者らによると、公称の量子化ラベルは総ストレージコストを過小評価する可能性があるため、デプロイ担当チームは量子化手法の名称ではなく、実際の成果物を基準にリスクを比較すべきである。

ただし、結果はLLM評価モデル、プロンプトのサンプリング、社会文化的な分類に大きく左右される。著者らも「圧縮に伴ってバイアスが継続的に増加するかどうか」は評価モデルによって異なると認めている。現時点では、Hugging Faceのデータビューアーにも構造変換エラーが発生している。エンジニアリングチームは、異なるモデルファミリーの複数の評価モデル、人手による抜き取り確認、製品で実際に使用される言語分布に基づく再テストを組み合わせるべきであり、単一の割合を安全性認証として扱ってはならない。