返回首頁

GitHub Repo

騰訊開放 Hy-SimulMT 中英同聲翻譯模型,提供串流推論與訓練工具

騰訊混元於 10 月 26 日發布 Hy-SimulMT,開放中英雙向即時翻譯模型與部署工具。官方公布約三秒的串流翻譯落後指標,但語音輸出與聲音複製仍須另接 TTS 服務。

Homann, Johann Baptist (1663-1724). Cartographe · Public domain · Image source
zh-Hant

騰訊混元於 10 月 26 日發布 Hy-SimulMT,並公開模型權重、SimulInfer 推論服務與 SimulTrain 訓練工具。系統面向會議、演講與訪談,持續接收音訊,在講者尚未說完整段內容時產生翻譯。這讓開發者能自行部署並調整串流翻譯流程。官方模型卡

此次提供僅輸出譯文與同時輸出原文、譯文的 Interleave 版本,另有 FP8 與 GGUF 格式。SimulInfer 包含網頁介面、音訊檔上傳與即時 WebSocket;語音合成及聲音複製需要配置外部 TTS,因此下載翻譯權重後,仍須整合語音輸出服務才能完成雙向語音體驗。專案說明

效能方面,團隊在 RealSI 長音訊測試中回報約三秒的 StreamLAAL,並稱其 GEMBA 翻譯品質分數超過比較中的開源模型及五個商用 API 中的四個。StreamLAAL 衡量串流翻譯落後來源內容的程度,不能直接當成首次播出譯音的等待時間。短音訊測試也呈現差異:模型在 RealSI-Sentence 得到表列最高的 84.7 分,但未在所有資料集領先;這些均為官方評估結果。評估方法與結果

部署端,官方 vLLM 路徑要求 Linux、Python 3.12 以上,以及具備 HYV3ForCausalLM 支援的 vLLM 0.31 以上版本。既有模型服務可與網頁服務分開啟動,方便接入現有推論環境。GGUF 使用者則需留意:專案明確指出,相關 llama.cpp 支援尚未合併上游,目前提案支援命令列推論,伺服器支援仍有後續工作。部署與相容性說明

對工程團隊而言,下一步應分別量測翻譯品質、首次譯音時間與長時間串流穩定性,再確認 TTS 加入後的整體延遲。官方另以十八段錄音和六名口譯員進行小規模比較,但也限定結論只適用於該批樣本與設定,未涵蓋完整語音品質或聲音相似度評估。測試限制

來源

  1. Hy-SimulMT 官方模型卡
  2. Hy-SimulMT 官方程式庫與部署說明