MLPerf Endpoints v0.7が公開、エージェント推論向けに継続的な提出と比較可能な結果パイプラインを導入

MLCommonsは7月28日、MLPerf Endpoints v0.7をリリースし、自動提出パイプライン、継続的な審査ツール、動的な結果可視化を完成させた。これは単なる新しい静的リーダーボードではない。推論サービスがエンドポイントとして共通のワークロードとルールを受け入れられるようにし、今後のv1.0におけるローリング提出とエージェント型ワークロードへの道を開くことが目的だ。リファレンス実装は公開GitHubリポジトリで提供されており、サーバー側で互換インターフェースを公開すれば、負荷生成器と結果パッケージングのプロセスに接続できる。

この基盤更新が重要なのは、従来のシングルターンのtokens/sではエージェントの挙動を十分に表現できないためだ。エージェントの各ターンは直前のターンに依存し、会話履歴が継続的に増加することで、prefill、KV cache容量、prefix reuse、会話コンテキストを考慮したルーティングに同時に負荷がかかる。MLCommonsは、今後のAgentic Inferenceテスト向けに2軸のPareto曲線を定義している。一方の軸ではシステム全体の出力スループットを、もう一方ではユーザーまたはtrajectoryごとの進捗速度を測定し、並行処理数を増やした際に総スループットと個々のエージェントの完了時間がどのようにトレードオフになるかを直接示す。

関連するエージェント・ワークロードには、固定session ID、cache salting、決定論的なプロンプト再構築、同一パフォーマンス構成におけるインライン精度チェックも導入される。これにより、提出者がタスク間キャッシュ、回答の切り詰め、出力分布の変更によって見せかけの高速化を実現することを防ぐ。これはvLLM、SGLang、TensorRT-LLM、モデルゲートウェイの開発者にとって特に有用だ。スケジューラーが会話のKV localityを維持できるかどうかが、測定可能なシステム能力になる。

現時点のv0.7はまだ基盤バージョンであり、購入者視点の正規化ルール、完全なエージェント評価結果、オープンなローリング提出はv1.0を待つ必要がある。エンジニアリングチームはまず、テスト構成でモデルのバージョン、量子化、精度しきい値が固定されているかを確認すべきだ。そうでなければ、ベンダー間のPareto曲線で品質の異なる出力を比較することになりかねない。