MLPerf Endpoints 0.7、クラウド推論を継続的な結果投稿方式へ移行—初版ではコスト正規化は未実装

MLCommonsは7月28日、[MLPerf Endpoints 0.7](https://mlcommons.org/2026/07/mlperf-endpoints-v0-7-release/)を発表し、評価対象をユーザーが自ら制御できるサーバーから、企業が実際に購入するクラウドおよびマネージド推論エンドポイントへと拡大した。従来のMLPerfは、決められたサイクルで結果を発表する方式を採用しており、モデル、アクセラレータ、サービスプランの更新速度に追随しにくかった。そこでEndpointsには、自動化された結果投稿パイプライン、継続的なレビュー用ツール、動的にフィルタリングできる結果インターフェースが導入された。異なるプロバイダー間で、レイテンシ、スループット、サービス構成にどのようなトレードオフがあるかを比較することが目的だ。

0.7の初期結果はCoreWeave、Google、Intel、KRAI、NVIDIAの5社から提供され、3つのベンチマークにまたがる。基盤となるフレームワークとルールは、[MLCommons Endpointsリポジトリ](https://github.com/mlcommons/endpoints)で公開されている。この設計の重要性は、新たな「最速GPU」ランキングを作ることではなく、エンドポイント全体を測定対象に含めようとしている点にある。同じハードウェアでも、バッチ処理戦略、推論エンジン、量子化、サービス上の制約が異なれば、実用上の性能はまったく異なる可能性がある。継続的な結果投稿で同一のレビュー基準を維持できれば、新興クラウド、ハイパースケーラー、特化型サービスプロバイダーを調達時に比較する用途にも、より適した仕組みとなる。

ただし、0.7は明確に基礎段階のバージョンだ。MLCommonsはまだ、コストや消費電力に関する包括的な正規化を提供しておらず、参加企業も市場の一部に限られている。そのため、現在の結果だけでは、1ドル当たりのtoken数、ピークトラフィック時の安定性、リージョン間レイテンシといった運用上の問題に直接答えることはできない。同組織は今年後半に1.0をリリースし、エージェント型ワークロードを拡充するとともに、より多くの会員にローリング方式の結果投稿を開放する予定だ。エンジニアリングチームは今後、エージェント評価でツール呼び出しのレイテンシ、成功率、再試行コストがどのように定義されるか、またプロバイダーが結果の再現に十分なモデルバージョン、パラメーター、レート制限設定を公開するかどうかに注目すべきだ。