AMD、MLPerf推論の最適化を公開、GPU 8基でのGPT-OSSサービングのスループットが約38%向上

AMDは9月17日、MLPerf Inference 6.1の技術解説を公開し、同じMI355X 8基の構成でGPT-OSS-120Bの推論をどのように改善したかを説明した。同社によると、Serverシナリオのスループットは前回の毎秒約8万2,100トークンから11万3,200トークンへと、約38%向上した。これは特定のベンチマーク条件におけるシステム全体の結果である。[技術解説](https://rocm.blogs.amd.com/artificial-intelligence/mlperf-inf-v6.1/README.html)

主な変更の一つは、従来共用していたアテンションカーネルを、prefillとdecodeの二つの処理経路に分けたことだ。前者はまとまった入力を処理し、計算負荷が高い。一方、後者はページ化されたKVキャッシュを逐次読み込むため、メモリ帯域幅の制約を受けやすい。AMDはprefillにAITERの可変長アテンションを採用し、decodeカーネルはGluonで実装した。データレイアウトの工夫と読み込みのオーバーラップによって待ち時間を減らし、アテンション部分で25～28%の改善を達成したとしている。[カーネル設計](https://rocm.blogs.amd.com/artificial-intelligence/mlperf-inf-v6.1/README.html)

スケジューラには、最初のトークンまで3秒、後続は1トークン当たり80ミリ秒というサービス目標も組み込み、レイテンシの制約に合わせてリクエストを割り当てるようにした。技術的には、カーネルの計算を高速化するだけでなく、システムに投入する処理量も制御する必要があるということだ。個別カーネルの改善率と全体のスループット向上率は分母が異なるため、単純には足し合わせられない。[スケジューリングの説明](https://rocm.blogs.amd.com/artificial-intelligence/mlperf-inf-v6.1/README.html)

量子化の設定も固定する必要がある。再現ガイドにはAMDが公開した重みへのリンクがあり、モデルカードの量子化スクリプトでは、重みにMXFP4、活性値にFP8を採用し、アテンション、ルーター、出力層などの一部を量子化の対象から除外している。一方、モデルカードの概要には活性値の精度について異なる記述がある。このため、再現を試みる際は実際のモデル設定、スクリプト、コンテナのバージョンを照合する必要があり、モデル名だけから実行時の精度を推定してはならない。[モデルカードとスクリプト](https://huggingface.co/amd/gpt-oss-120b-w-mxfp4-a-fp8-Mlperf)

モデルカードに記載された品質指標は、推論強度を低く設定してAIME25とGPQAを評価したものであり、より多くの推論予算を割り当てた場合や、中国語のワークロードでの性能を直接示すものではない。長いコードの生成、ツール呼び出し、中国語での質疑応答に依存するチームがベンチマーク結果をキャパシティプランニングに活用するには、量子化後のエラーの傾向と出力品質を別途確認する必要がある。[評価条件](https://huggingface.co/amd/gpt-oss-120b-w-mxfp4-a-fp8-Mlperf)

AMDはコンテナと性能・品質テスト用のコマンドを示しているが、ガイドにはROCmのバージョンのプレースホルダーが残り、複数ノード構成のインターコネクト仕様やランチャーの記載も未完成だ。実行可能な出発点は用意されているものの、公開資料を、完全かつ曖昧さのない再現手順とみなすことはまだできない。[再現ガイド](https://rocm.blogs.amd.com/artificial-intelligence/mlperf-inf_v6.1-repro/README.html)

MLCommonsのClosed部門では、同一の参照モデルの使用が求められる一方、規則の範囲内での最適化は認められている。また、スループットはシステム全体の消費電力測定の代わりにはならない。導入を検討する側は、次の段階として品質の合格基準を固定し、自らの入力長、同時実行数、テールレイテンシの条件で再検証したうえで、これらの変更がリクエスト当たりのコストを下げるかどうかを判断すべきだ。[MLCommonsの規則説明](https://mlcommons.org/benchmarks/inference-datacenter/)