ホームへ戻る

推論系統

vLLM-Omni、H3-Imageの4基Rubin実測を公開 4Kの低遅延と高スループットには異なる構成が必要

vLLM-Omniチームは11月12日、MiniMax H3-ImageのVera Rubinへのデプロイと性能テストを公開した。4基構成で短いプロンプトを処理した場合、中央値のレイテンシは約0.87秒に達した。一方、毎時6,115枚というピークスループットは別のレプリカ構成によるもので、エンジニアは対話速度とサービス容量を分けて評価する必要がある。

Public domain · Image source
zh-Hant

vLLM-Omniチームは11月12日、NVIDIA Vera Rubin上でのMiniMax H3-Imageの推論テストを公開し、ネイティブ解像度4096×4096の画像生成を1秒未満の領域に引き上げた。公式の短いプロンプトのテストでは、4基のGPUで同一リクエストを並列処理し、中央値のレイテンシは約0.87秒だった。これは特定のサービス構成で測定された値であり、独立検証済みの汎用的な性能保証ではない。公式テスト

H3-Imageは同一のチェックポイントでテキストからの画像生成と参照画像の編集を行い、6ステップのサンプリングを採用している。追加のアップスケーラーなしで約1,600万画素の画像を生成できる。モデルカードには、331億パラメーターの密な拡散Transformerに加え、テキストエンコーダーと画像VAEが記載されている。そのため、デプロイコストを見積もる際は拡散モデルの重みだけでなく、エンコードとデコードの段階も考慮する必要がある。モデルカード

今回の最適化は3つの経路を対象としている。適用可能なDiTの線形層をMXFP8で高速化し、Ulysses sequence parallelismで4基のGPUに処理を分散し、CUDA Graphと複数のCUDA streamでVAEデコードのオーバーヘッドを抑える。6回のdenoising stepはすべて実行され、テキストエンコーダーとVAEもそれぞれ設定された精度を維持するため、パイプライン全体を低精度推論と一括りにはできない。実装の説明

容量計画で最も誤解されやすいのはスループットの数値だ。毎時6,115枚という結果は、単一GPUのレプリカ4つ、同時実行数8の構成で得られたもので、中央値のレイテンシは4.411秒だった。これは1秒未満の結果とは異なる運用点である。エンジニアは対話型の編集とバッチ画像生成で、それぞれ異なる並列化戦略を選ぶ必要がある。2つの最良値を組み合わせてサービスの性能保証として扱うことはできない。スループットテスト

導入時には、ローカルのリクエストパラメーターも確認する必要がある。モデルカードによると、サンプリングステップ数は6、guidance scaleは1で、ネガティブプロンプトには対応していない。今後は、実際のプロンプト長、参照画像の枚数、重みのオフロードがレイテンシに与える影響を確認し、自社のトラフィックを使ってテールレイテンシと画像品質を再測定することで、デプロイの効果を判断できる。パラメーターの制約

出典

  1. H3-Image Day-0 Support: 4K in 0.87s with Vera Rubin
  2. MiniMax-H3-Image 模型卡