MLPerf Inference 6.1、エンドツーエンドRAGとエッジエージェントのテストを追加――ベンチマークは推論パイプライン全体を評価対象に

MLCommonsは9月16日、MLPerf Inference 6.1を発表した。最も重要な変更は、特定のアクセラレーターが記録を更新したことではなく、評価単位が単一モデルからアプリケーションのパイプライン全体へ移ったことだ。新しいエンドツーエンドRAGテストでは、文書の取り込みとオンラインでの質疑応答を個別に測定する。前者はembeddingとベクトルデータベースの構築を対象とし、後者ではクエリのembedding、検索、リランキング、そして1つまたは複数のLLMによる推論を順番に実行する。これにより、ベクトルインデックス、データ転送、コンポーネント間のスケジューリングが初めて標準スコアの一部となり、生成コアだけを最適化しても検索レイヤーがボトルネックになるシステムを、より明確に可視化できるようになった。

もう一つのEdge Agentic Inferenceテストは、単一ユーザーによるcoding-agentワークロードをシミュレートする。複数ターンのやり取りに伴ってコンテキストが増加し、モデルは証拠収集と推論を交互に行わなければならない。評価には、制限時間付きの正確性評価と、組み込みの正誤チェックを備えた決定論的タスクの両方が含まれる。GPT-OSS項目のインタラクティブなシナリオでもspeculative decodingが正式に認められ、ドラフトモデルと検証モデルを組み合わせた実装全体を、ルールに準拠した形で比較できるようになった。

6.1には計30組織から提出があり、512基のアクセラレーターで構成されたクラスター、複数ベンダー製品を組み合わせた異種システム、太平洋をまたぐ分散システムなどが含まれた。提出の半数超が新しいAPIベースのharnessを採用し、実際のclient/serverインターフェースを介してリクエストを送信している。MLCommonsによると、将来的にはMLPerf Endpointsがデータセンター版Inferenceに取って代わる予定だ。これによりベンダーは、プロセス内のkernel throughputだけを示すのではなく、シリアライゼーション、キューイング、ネットワーク、サーバー側スケジューリングにも同時に対応することを迫られる。

ただし、新しいテストも依然として制御されたワークロードであり、実環境のRAGにおけるデータ品質、再現率、エージェント用ツールの信頼性と同等ではない。エンジニアリングチームが結果を比較する際には、Closed divisionとOpen division、レイテンシー制約、正確性のしきい値、クラスター規模も区別する必要がある。世代をまたいで最大5.7倍という改善を、単一のチップだけに直接帰属させることはできない。今後の注目点は、生の結果を第三者が再現できるか、そしてEndpointsがコスト、tail latency、マルチテナント環境での干渉を比較するのに十分な指標を公開するかどうかだ。