語音生成／推論系統
Faster IndexTTS-2、自回帰音声パイプラインをTensorRTへ移植し、エンドツーエンドで最大3.6倍高速化
新たな研究では、TensorRTとTensorRT-LLMを用いてIndexTTS-2のGPT、Diffusion Transformer、ボコーダーを再構築し、ストリーミング推論とバッチ推論にも対応した。英語・中国語のSeed-TTS実験ではGPTが最大5倍高速化したが、現時点の公開資料だけでは、最適化パイプライン全体を直接再現するには不十分だ。
研究チームは7月23日、自回帰型ゼロショットText-to-Speech（TTS）を製品環境で運用する際の主要なボトルネックに対処するFaster IndexTTS-2を提出した。オリジナルのIndexTTS-2は、自回帰GPT、flow matchingを採用したDiffusion Transformer、最終段のボコーダーで構成される。参照音声から声質を複製し、感情も制御できる一方、従来の推論速度はかろうじてリアルタイムに達する程度で、完全なストリーミング処理とバッチ処理の経路も欠けていた。
Faster IndexTTS-2は、音響モデルを再学習したものではない。3段階のニューラルネットワーク推論をNVIDIA TensorRTとTensorRT-LLMへ移植している。GPT部分では、大規模言語モデル向けに設計された実行処理とメモリの最適化を利用できる。後段のDiffusion Transformerとボコーダーも、GPU最適化エンジンへ置き換えられた。さらに各コンポーネントがバッチ推論に対応し、複数の音声を同時処理する際のGPU使用率を高めている。ストリーミング出力も提供されるため、音声エージェントは文全体の波形が完成するのを待たずに再生を開始できる。
著者らは、英語および中国語のSeed-TTSテストにおいて、自回帰GPTが最大5倍、エンドツーエンドでは最大3.6倍高速化したと報告している。その一方で、単語誤り率、話者類似度、自然さの低下はわずかだったとしている。これは、リアルタイムのカスタマーサービス、ゲームキャラクター、音声エージェントにとって実用的な改善だ。インタラクション品質は、音声ファイルをオフラインで生成する総所要時間よりも、最初の音声チャンクが出力されるまでのレイテンシ、継続的な生成速度、同時実行時のスループットに左右されることが多い。
ただし、現時点で論文は4ページしかなく、結果も依然として著者らによるテストに基づいている。オリジナルのIndexTTSリポジトリではモデルと推論コードが公開されているものの、論文の内容に完全に対応したFaster IndexTTS-2の再現可能なパッケージはまだ提供されていない。エンジニアは今後、実際に使用されたGPUモデル、バッチサイズ、time to first audio、GPUメモリ使用量、TensorRTエンジンのビルド時間に注目すべきだ。最良のスループット値だけを比較すると、単一リクエストや短文のユースケースで発生する追加のスケジューリングコストが見えにくくなる可能性がある。