返回首頁

推論系統

vLLM-Omni 公布 H3-Image 四卡 Rubin 實測,4K 低延遲與高吞吐須採不同配置

vLLM-Omni 團隊於 11 月 12 日公布 MiniMax H3-Image 的 Vera Rubin 部署與效能測試,四卡短提示詞測試達到約 0.87 秒中位延遲。每小時 6,115 張的峰值吞吐則來自另一組副本配置,工程團隊須分開評估互動速度與服務容量。

Public domain · Image source
zh-Hant

vLLM-Omni 團隊於 11 月 12 日公布 MiniMax H3-Image 在 NVIDIA Vera Rubin 上的推論測試,將原生 4096×4096 圖片生成推進至次秒級。官方短提示詞測試使用四張 GPU,並行處理同一請求時,中位延遲約為 0.87 秒;這是特定服務配置的量測,尚非獨立驗證的通用效能保證。官方測試

H3-Image 以同一檢查點處理文字生圖與參考圖編輯,採六步取樣,不需額外放大器即可生成約 1,600 萬像素圖片。模型卡列出 331 億參數的密集擴散 Transformer,另搭配文字編碼器與影像 VAE;部署成本因此不能只看擴散模型權重,也要計入編碼與解碼階段。模型卡

此次優化涵蓋三條路徑:以 MXFP8 加速適用的 DiT 線性層、用 Ulysses 序列平行分配四卡運算,以及透過 CUDA Graph 與多條 CUDA stream 降低 VAE 解碼開銷。六個去噪步驟仍完整執行,文字編碼器與 VAE 也保留各自設定的精度,不能將整條管線概括為低精度推論。實作說明

容量規劃最容易誤讀的是吞吐數字:每小時 6,115 張來自四個單卡副本、併發數八的配置,中位延遲為 4.411 秒,與次秒級結果屬於不同操作點。對工程師而言,這表示互動式編輯與批次產圖應分別選擇平行策略,不能把兩項最佳數字合併成服務承諾。吞吐測試

導入時還須確認本機請求參數:模型卡規定取樣步數為六、guidance scale 為一,且不支援負面提示詞。後續值得追蹤的是實際提示詞長度、參考圖數量與權重卸載對延遲的影響,並以自身流量重測尾端延遲與圖片品質,才能判斷部署收益。參數限制

來源

  1. H3-Image Day-0 Support: 4K in 0.87s with Vera Rubin
  2. MiniMax-H3-Image 模型卡