M4 MaxのローカルLLM実測：デコードはGB10より高速、ただし応答全体は依然としてprefillが制約

Tom’s Hardwareは7月30日、`llama.cpp`を使用してApple M4 Max、Nvidia GB10、AMD Ryzen AI Max+ 395を比較し、Qwen 3.6-35B-A3B、Gemma 4 12B、gpt-oss-120bの4ビット量子化版をテストした。検証に使用されたMac Studioは、40コアGPU、128GBのユニファイドメモリ、546GB/sのメモリ帯域幅を搭載。テスト時の価格は約3,699ドルで、DGX Sparkの希望小売価格3,999ドルに近いため、単なるチップ仕様の比較よりもデスクトップ導入時の製品選定に即した内容となっている。

結果から、ローカルLLMにおける2つのボトルネックを混同すべきではないことが分かる。Prefillではプロンプト全体を並列処理するため、演算スループット、コア数、ソフトウェアカーネルの最適化が重要になる。一方、decodeではtokenを1つずつモデルの各層に順次通し、メモリから重みを繰り返しストリーミングする必要があるため、一般にメモリ帯域幅の制約を受けやすい。M4 Maxは、3種類すべてのモデルと異なるコンテキスト長において、デコードスループットでほかの2台を上回り、とりわけQwen MoEで顕著な優位性を示した。ただし、prompt processingはGB10のほうが明確に高速だった。gpt-oss-120bで2,048-tokenの入力と1,024-tokenの出力を用い、ワークロード全体を測定した場合、GB10はprefillをより速く完了できるため、総所要時間と消費電力量の両方でM4 Maxを上回った。

この結果は、RAG、コーディングエージェント、長いコンテキストを扱うサービスにとって特に重要だ。短いプロンプトから長い出力を生成するチャットワークロードでは、高帯域幅プラットフォームが有利になる可能性がある。一方、大規模なコードベースや文書、複数ターンを圧縮した履歴を繰り返し読み込む必要があるエージェントでは、prefill速度とKV cacheの増大がレイテンシを左右する可能性がある。エンジニアリングチームは、単一のtok/sランキングだけで調達先を決めるのではなく、time-to-first-token、decode throughput、ターン全体の所要時間、消費電力、搭載可能なモデルサイズを併せて測定すべきだ。なお、これはあくまでメディアによる独自テストの一例であり、量子化ファイル、`llama.cpp`のcommit、Metal/CUDAの最適化水準、利用可能なメモリ構成によって結果は変わり得る。また、Appleが現在販売しているM4 Maxのメモリ構成は、テストされた128GBモデルと必ずしも一致しない。