Unsloth 0.1.807-beta、AMD APUのデフォルト推論をVulkanに切り替え——Strix Haloのプリフィル性能は最大23％向上

Unslothは9月8日、AMD環境におけるローカル推論のバックエンド選択、Apple Siliconのメモリ使用量、コンテナ配布をまとめて刷新したバージョン0.1.807-betaをリリースした。技術的に最も影響が大きい変更は、Strix HaloとStrix PointでVulkanがデフォルトになったことだ。Linux上で利用可能なROCmがないAMD iGPUも、CPUへ直接フォールバックしなくなった。公式測定によると、Strix Haloではプロンプト処理性能が最大23％、生成性能が最大8％向上した。ただし、モデル、量子化形式、コンテキスト長、消費電力設定は明らかにされていないため、この結果をすべてのRDNA GPUへ一般化することはできない。

Apple MLX向けの実装では、量子化KV cacheによってプロンプト処理時のメモリ使用量を最大74％削減し、gated-deltaモデルの学習を最大25％高速化したという。さらに、DoRA、より多くのDPO loss、サンプルごとに独立してサンプリングできるストリーミング・バッチ生成も追加された。これらの変更の実用的な価値は、ピーク性能だけにとどまらない。KV cacheが小さくなることで、ユニファイドメモリを搭載するMacでは、より長いコンテキストを維持したり、バッチサイズを増やしたりできる。また、独立サンプリングにより、バッチ処理された複数のチャットが生成挙動を共有してしまうリスクも解消された。

今回のリリースでは、デフォルトのPyTorchを2.10から2.11へ更新し、Windows版の`llama-server.exe`に署名を追加したほか、Python wheelのサイズを44％削減した。さらに、PyTorch 2.11、CUDA 12.8、JupyterLab、llama.cpp、whisper.cppを含むamd64／arm64対応Dockerイメージも公開した。コンテナの`latest`と`studio`は更新される可変タグであるため、再現可能なデプロイが必要な場合は、日付またはバージョンのタグとdigestを固定すべきだ。

それでも、エンジニアリングチームは各マシンで事前に検証する必要がある。リリース当日には、Strix Haloユーザーから、設定画面に依然として自動／ROCmと表示されるとの報告があった。原因としては、UI上の表示、アップグレード後に残った設定、あるいはルーティングが有効になっていない可能性が考えられる。デプロイ前には、実際にロードされたバックエンド、time to first token、生成速度、出力の正確性を記録するのが望ましい。これは依然としてbeta版であり、公式が掲げる「200件以上の修正」によって、回帰テストの対象範囲も広がっている。