DiffusersがNunchaku Liteをネイティブ統合、W4A4を中核に拡散モデルのVRAM使用量とレイテンシを削減

Hugging Faceは7月23日、Nunchaku LiteのDiffusersネイティブ統合を公開した。これにより開発者は、通常の`from_pretrained()`を使ってSVDQuantで量子化された拡散モデルを読み込める。Nunchaku推論エンジンを別途保守したり、ローカル環境でCUDA extensionをコンパイルしたりする必要はない。中核演算子はHugging Faceの`kernels`パッケージからダウンロードされる。モデルリポジトリでは、`config.json`に量子化方式、精度、group size、低ランクrank、対象モジュールが記録されるため、量子化チェックポイントでもDiffusersのscheduler、LoRA、CPU offload、`torch.compile`のワークフローを引き続き利用できる。

多くのweight-only量子化は、演算時に重みをより高い精度へ復元するため、主にVRAM使用量を削減する一方、必ずしもレイテンシを短縮できるとは限らない。Nunchaku Liteは、attentionとMLPのprojectionにSVDQ W4A4を採用する。まず量子化が難しいactivation outlierを重みに吸収し、次に小規模な16-bit低ランク分岐で補正する。残りの行列には4-bitの重みとアクティベーションを使用する。よりセンシティブな層、またはメモリ帯域幅に制約されるmodulation層にはAWQ W4A16を採用する。Diffusersは重みを読み込む前に、指定された`nn.Linear`を対応するruntimeモジュールへ置き換える。

公式がRTX PRO 6000 Blackwell上で、1024×1024のERNIE-Image-Turboを使って実施したテストでは、BF16パイプラインの所要時間は約3.00秒、ピークVRAM使用量は31.1 GBだった。NVFP4版では2.27秒、20.6 GBまで低下し、`torch.compile`を併用すると約1.68秒になった。text encoderも量子化した場合、VRAM使用量はさらに約16 GBまで削減できる。ただし、これらは単一のモデル、GPU、プロンプト設定に基づくチーム内テストの結果にすぎない。NVFP4が対応するのはBlackwellのみで、旧世代のTuring、Ampere、AdaではINT4を使用する必要があり、VoltaとHopperは現時点でサポートされていない。また、汎用的なLiteパスには、オリジナル版Nunchakuが備えるモデル専用のQKVおよびMLP fusionがない。したがって、最大限のthroughputを求めるデプロイでは、引き続きアーキテクチャ専用adapterが必要になる可能性がある。