BaseRT、Metal 4でM5 Neural Acceleratorを直接駆動——プロンプト処理はllama.cppの最大6.4倍

Base ComputeはBaseRTの新版と技術レポートを公開し、汎用フレームワークを介さず、Metal 4 tensor APIを通じてApple M5 GPUの各コアに内蔵されたNeural Acceleratorを直接利用する方法を示した。これらのユニットは大規模な行列乗算に適しているため、新版には手書きのDense GEMMとMixture of Experts（MoE）GEMM、量子化行列カーネル、さらにprefill向けのFlashAttentionカーネルが追加された。一方、メモリ帯域幅が支配的なtoken単位のデコードには、行列演算ユニットへ無理に移行せず、既存の専用カーネルを引き続き使用する。

チームはM5 Pro上で15種類のモデル構成をテストした。対象はQwen 3、Qwen 3.5／3.6、Llama 3.2、Gemma 4で、モデル規模は10億パラメータ未満から350億パラメータまでに及ぶ。レポートによると、BaseRTのプロンプト処理スループットはllama.cppの最大6.4倍、MLXの最大3.9倍で、デコード速度はそれぞれ最大1.75倍、1.33倍だった。特にMoEモデルで差が顕著だったという。これは、prefillではNeural Acceleratorが担える行列演算が大量に発生する一方、デコードは依然としてユニファイドメモリの帯域幅による制約を受けやすいためだ。

技術的な意義は、単に新たなローカルLLMランタイムが登場したことにとどまらない。Apple Siliconにおける最適化の領域が、GPU shaderから専用の行列演算ハードウェアへ拡張されたことを示している。長いプロンプト、RAGドキュメント、複数リクエストのバッチを処理する開発者にとって、prefillの高速化は生成速度だけを見るよりも大きな価値を持つ可能性がある。ネイティブのMetal実行パスにより、Pythonや大規模フレームワークへの依存も軽減できる。

ただし、比較データはすべてBaseRTチームが提供したもので、検証対象も単一のM5 Proに集中している。量子化形式、プロンプト長、消費電力、メモリ使用量、出力の一貫性によって順位が変わる可能性がある。次の焦点は、同一のモデルファイル、同一精度、同一の熱設計・電力条件で第三者が結果を再現できるかどうかだ。また、手書きカーネルが新しいモデルアーキテクチャやMetal APIの変更に追随できるかも確認する必要がある。