MLPerfが初めて完全なRAGパイプラインを測定、ただし性能モードでは検索経路を固定

MLCommonsは8月26日、初のMLPerfエンドツーエンドRAG推論ベンチマークを公開した。従来の単一モデル、単一プロンプト中心の測定範囲を、データ取得、チャンク分割、埋め込み、ベクトルインデックス、検索、再ランキング、マルチホップクエリ書き換え、証拠十分性の判定、回答生成まで拡張した。ベンチマークは`e2e-rag-db`と`e2e-rag-qna`に分かれる。前者は1秒当たりの処理文書数でインデックス構築を評価し、後者は1秒当たりの完了タスク数で質問応答パイプライン全体を評価する。

リファレンスワークロードには、FRAMESの824問と、バージョンを固定した2,515件のWikipedia HTML文書を使用し、約10万7,000個の重複を含むチャンクに分割する。システムはE5-base-v2で768次元ベクトルを生成し、FAISS HNSWに格納してColBERTv2で再ランキングする。さらに、GPT-OSS-20B／120Bが文書判定、クエリ書き換え、生成を分担し、各質問につき最大5ラウンドの検索を実行する。この設計により、参加者は大規模モデルのコアだけを最適化するのではなく、モデルのコロケーション、異なる精度、CPU／GPU構成、ステージ横断のバッチスケジューリング、prefix cacheなどを比較できる。

ただし、初版が対象とするのはOfflineシナリオのみで、オンラインでのリクエスト到着率、テールレイテンシ、同時実行時のジッターは含まれない。再現性を高めるため、性能モードでは各ラウンドで事前に記録された入力を再生し、検索対象文書と反復回数を固定する。モデルは実際に計算を実行するものの、その出力は破棄される。つまり、このスループット測定は、既知の実行グラフに対するシステム負荷テストに近く、動的な検索品質を直接推測するためには使えない。リファレンスの回答精度も35%にとどまり、準拠基準はその97%に設定されている。現行の監査は主に最終的な生成長を確認するものであり、参加者が中間の検索処理や判定処理を削減することを、まだ包括的には防止できていない。エンジニアリングチームは、ハードウェアをまたいだ最初の提出結果を待つとともに、今後追加されるServerシナリオと、より包括的なステージ別準拠テストに注目すべきだ。