返回首頁

推論系統

H3 Lightning 將 MiniMax H3 影片生成縮至四步,但 12.2 倍加速依賴未公開權重

RunningHub 公開以 SGLang、步數蒸餾、SageAttention2、Cache-DiT 與 `torch.compile` 組成的 MiniMax H3 多 GPU 推論配方。官方把五秒影片延遲由 348.8 秒降至 28.7 秒,但關鍵內部加速權重尚未釋出,公開 LoRA 不能直接重現該數字。

Staff Sgt. Emily Russell · Public domain · Image source
zh-Hant

RunningHub 釋出 H3 Lightning,將 MiniMax H3 的影音生成模型接入 SGLang `multimodal_gen` runtime,並固定軟體版本、模型 revision、啟動參數與量測流程。它不是單一新核心,而是把工作量削減與執行層最佳化疊加:先以後訓練/步數蒸餾將基準的 50 個去雜訊步驟縮至四步,再用 SageAttention2 加速注意力、Cache-DiT 重用部分中間計算,最後透過 `torch.compile` 編譯運算圖。

在八張無 NVLink、僅以 PCIe 連接的 RTX 6000D 上,團隊測得 1344×768、五秒文字轉影片由 BF16 基準的 348.8 秒降至 43.0 秒;加入完整執行最佳化後再降至 28.7 秒,相當於 12.2 倍加速。另一組十五秒測試則顯示,把平行策略由 TP4+Ulysses2 改成 TP2+Ulysses4,可將延遲由 54.0 秒降至 48.2 秒,並少用約 14 GiB GPU 記憶體。這對沒有 NVLink 的 PCIe 伺服器尤其有參考價值:影片生成的最佳切分不一定等同大型語言模型的純 tensor parallel 配置。

工程上必須拆開解讀 12.2 倍數字。大部分收益來自把 50 步改成四步,並非相同數值計算的無損加速;SageAttention 也在注意力內使用量化。更關鍵的是,官方成績使用的 RH 內部加速權重尚未公開,儲存庫只提供社群 LoRA 替代,因此目前能重現的是部署流程,而非完整基準。測試也排除了模型載入、首次編譯、排隊及下載時間。採用者應固定 prompt、seed、解析度與模型 revision,分別量測冷啟動及穩態延遲,並人工檢查人物一致性、動作連續性、提示遵循及音畫同步;下一個重要訊號是內部權重是否公開,以及第三方能否在不同 Blackwell/Hopper 拓撲上重現品質—速度曲線。

來源

  1. RunningHub H3 Lightning
  2. MiniMaxAI/MiniMax-H3 model card