Tencent、Hy-SimulMTの中英同時通訳モデルを公開　ストリーミング推論と学習ツールを提供

Tencent Hunyuanは10月26日、Hy-SimulMTを公開し、モデルの重み、SimulInfer推論サービス、SimulTrain学習ツールを公開した。このシステムは会議、講演、インタビューを想定し、音声を継続的に受信しながら、話者が発話を終える前に翻訳を生成する。開発者はストリーミング翻訳のパイプラインを自分でデプロイし、調整できる。公式モデルカード

今回提供されるのは、翻訳文のみを出力する版と、原文と翻訳文を同時に出力するInterleave版で、FP8およびGGUF形式も用意されている。SimulInferにはWebインターフェース、音声ファイルのアップロード、リアルタイムWebSocketが含まれる。音声合成と音声クローンには外部TTSの設定が必要なため、翻訳モデルの重みをダウンロードした後も、音声出力サービスを統合しなければ双方向の音声体験は完成しない。プロジェクトの説明

性能面では、チームはRealSIの長時間音声テストでStreamLAALが約3秒だったと報告し、GEMBA翻訳品質スコアは比較対象のオープンソースモデルを上回り、5つの商用APIのうち4つを上回ったとしている。StreamLAALは、ストリーミング翻訳が原文の内容にどの程度遅れるかを測る指標であり、訳音が初めて再生されるまでの待ち時間と直接同一視できない。短い音声のテストでも結果には差があり、RealSI-Sentenceでは表中最高の84.7点を獲得した一方、すべてのデータセットで首位だったわけではない。これらはいずれも公式評価の結果だ。評価方法と結果

デプロイ環境について、公式のvLLM手順ではLinux、Python 3.12以上、HYV3ForCausalLMをサポートするvLLM 0.31以上が必要となる。既存のモデルサービスとWebサービスは別々に起動できるため、既存の推論環境にも接続しやすい。GGUFの利用者は、関連するllama.cppのサポートがまだ上流にマージされていない点に注意が必要だ。現在の提案でサポートされるのはコマンドライン推論で、サーバー対応には今後の作業が残っている。デプロイと互換性の説明

エンジニアリングチームは次に、翻訳品質、訳音が初めて出るまでの時間、長時間ストリーミングの安定性をそれぞれ測定し、TTSを加えた後の全体遅延を確認するとよい。公式は18件の録音と6人の通訳者による小規模な比較も実施したが、結論はそのサンプルと設定に限られ、音声品質全般や声の類似度の評価を網羅していないとしている。テストの制約