Bonsai 2、27Bの言語モデル重みを5.95 GBに圧縮、導入には依然として専用の実行カーネルが必要

PrismMLは9月17日、Qwen3.8-27BをベースとするBonsai 2 27Bを発表し、Apache 2.0ライセンスで重みを公開した。今回の更新では、総合ベンチマーク性能の維持率が前世代の約95%から、公式発表によると98.2%に向上した。ただし、実際の導入では、圧縮形式、実行カーネル、タスク品質を同時に成立させられるかが引き続き焦点となる。[発表記事](https://prismml.com/news/bonsai-2-27b)

モデルは主要な言語モデル重みを−1、0、+1で表現し、128個の重みごとに1つの半精度スケール値を共有する。量子化の前には、ブロック単位のHadamard直交回転を適用する。この回転は保存された重みに組み込まれている一方、推論時にはアクティベーションに対応する変換を施す必要がある。一部のリカレント状態と正規化パラメータは高い精度を維持しているため、モデル全体が純粋な三値演算で動作すると捉えることはできない。[モデルカード](https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf)

ダウンロード可能なファイルには、異なるトレードオフを持つ2つの形式がある。PTQ1_0は三値を高密度にパックし、言語モデルのサイズは5.95 GBとなる。PQ2_0は2ビットのスロットを使用し、サイズは7.21 GBとなるが、アンパックのコストを抑えられる。画像入力には、別途約0.63 GBの視覚モジュールが必要だ。実装上はコンテキストキャッシュや一時作業領域も加算する必要があり、重みファイルのサイズをそのままシステム全体の必要メモリ容量と見なすことはできない。[形式の説明](https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf)

互換性は導入のハードルとなる。公式デモリポジトリは、PrismMLの実行用ブランチを使用するよう明示している。前世代の形式がllama.cppのメインラインに取り込まれているからといって、Bonsai 2もそのまま利用できるわけではない。低ビットのパック形式を解釈できても、アクティベーションの回転処理が欠けている実行環境では、誤った出力が生じる可能性がある。このため、チームはバージョンを固定したインストール手順と速度測定手順を提供している。[実行プロジェクト](https://github.com/PrismML-Eng/Bonsai-demo)

つまり、実際のデプロイ単位は重みと実行環境の組み合わせとなる。再現可能なサービスを提供するには、両方のバージョンを固定し、出力の回帰テストケースを保持する必要がある。将来、メインラインのカーネルへ切り替える際にも、画像処理とツール呼び出しの経路を再検証しなければならない。メンテナーにとって、アップストリームへの統合状況は更新コストとパッケージの互換性に直接影響する。

評価についても、集計対象や方法をそろえる必要がある。発表ページには20項目のテストが掲載され、総合スコアは83.9対85.4となっている。一方、現在のモデルカードには14項目が掲載され、平均は84.78対86.32だ。どちらも比率は約98.2%だが、同一の測定ではなく、各能力の低下がわずか1.8%にとどまると推論することもできない。[公式評価](https://prismml.com/news/prismml-launches-bonsai-2-27b)、[項目別の結果](https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf)

ローカルエージェントの開発者にとっての価値は、限られたメモリ容量で、より大きなモデルを動かせる点にある。今後はメインラインへの統合に加え、プロンプト、コンテキスト長、ツール環境を固定した独立した再評価に注目すべきだ。本格採用の前には、長い処理フローの成功率とテールレイテンシも検証する必要があり、平均ベンチマークスコアだけでは、これらの要件を満たす保証にはならない。