Ollama、Qwen3.8 Flash Nextのメモリ最適化をプレビュー版に導入　埋め込みテーブルを必要時に読み込み

Ollamaは11月9日のリリース一覧で、Qwen3.8 Flash Next向けのMLXメモリ最適化を含むv0.40.16プレビューを公開した。関連コードは11月6日にマージされ、今回プレビューリリースに加わった。メンテナーによると、モデルのロックメモリは97.6 GiBから70.8 GiBに減少し、128 GiB搭載Macでローカル推論を実行しやすくすることを目指している。この数値は特定のメモリ指標を示すもので、マシン全体の総使用量と同一視はできない。リリース一覧、マージ提案

最適化の対象は、モデル内にある約26.8 GiBのNVFP4形式のPLE埋め込みテーブルだ。各フォワードパスでアクセスするのはハッシュで選ばれた少数の行だけだが、従来はテーブル全体を常駐させるコストがかかっていた。新しい経路ではsafetensorsのシャードをホストのアドレス空間にマッピングし、必要な圧縮データ行とスケールパラメーターだけをMLXの逆量子化に渡す。ほかのレイアウトは従来どおり常駐方式で処理する。読み込み時にはこれらのテンソルを除外し、起動時にテーブル全体を確保してから解放する事態も避ける。実装とレビュー

量子化戦略も変更された。作者によると、NVFP4を全面的に適用すると長文生成の品質が損なわれるため、影響を受けやすいQSA投影と非エキスパートMTP経路にはBF16を維持し、適用可能なほかの密行列演算および制御用の重みにはMXFP8を使う。ルーティング対象のエキスパートと埋め込みテーブルはNVFP4のままとする。メモリ配置と数値精度は、共同で設計すべき課題となっている。量子化設計

この処理方法はモデルのアーキテクチャと密接に関係する。Ollamaのモデルページによると、総パラメーター数は125Bで、各トークンで有効化されるのは6B。さらに大規模なN-gram埋め込みテーブルを備える。エンジニアにとって、スパースな有効化で計算量を減らせても、重みの保存や移動にかかるコストは別途対処が必要だ。アクセス特性に合わせてデータの配置を決めた点に、今回の更新の実質的な価値がある。モデルアーキテクチャの説明

デプロイ前には、プロンプトのプリフィル、トークンごとのデコード、長時間の会話でのピーク使用量をそれぞれ計測したい。メンテナーは目標とするデコードスループットに測定可能な低下は見られないとしている。一方、議論では長いプロンプトのプリフィルが遅くなったとの報告もあったが、比較テストは示されていない。モデルページに記載されたパッケージサイズは引き続き105GBであり、ダウンロード容量と実行時のロックメモリは分けて判断する必要がある。今後は正式版への収録状況と、同じハードウェアおよびプロンプト長で再現できる結果に注目したい。性能に関する議論、パッケージ情報