Inflect v2、超小型ローカルTTSパッケージを更新—4Mパラメータモデルで音声を独自調整しONNXへエクスポート可能

個人開発者のOwen SongはInflect v2を更新し、固定音声を備えた2種類の英語TTSモデルと調整ツールを、そのまま実行できるローカルパッケージとしてまとめた。Inflect-Nano-v2はデプロイ可能なパラメータを3,966,721個備え、FP32の重みは15.97 MB。品質を優先したMicro-v2は9,356,513パラメータ、37.53 MBとなる。どちらもテキストエンコーダーだけでなく、24 kHzのニューラル波形デコーダーまで含み、同一のPython APIを通じてCPUまたはCUDA上で実行できる。

アーキテクチャはパラメータを削減したVITS系で、英語音素フロントエンド、単調アライメント、確率的潜在変数による合成、残差カップリングフロー、エイリアシングを抑えた波形デコーダーを組み合わせている。Nanoは128次元の潜在表現、3層・2ヘッドのテキストエンコーダー、4つのflow coupling blocksを使用する。最近追加されたadaptation toolkitでは、単一話者の録音と文単位のテキストを取り込み、NanoまたはMicroのcheckpointからwarm-startできる。中断後の訓練再開や検証用音声の保存に対応し、最終的にPyTorchまたはONNXモデルとして出力可能だ。これにより、固定音声の重みを再生するだけのモデルから、組み込み製品向けに独自のプライベート音声を構築できる基盤ツールへと発展した。

スマートフォン、Raspberry Pi、ゲーム、音声をクラウドへ送信できないインターフェースでは、十数MBの完全なモデルによって、メモリ使用量、ダウンロード容量、コールドスタートのコストを削減できる。seedを固定できることも回帰テストに役立つ。ただし、音素化は依然としてeSpeak-ngに依存しており、その部分はパラメータ数に含まれていない。公開モデルで検証されているのは英語の固定音声のみで、中国語などへ対応させるには、新たな音素規則と大量の対訳データが必要となるため、少数サンプルによるvoice cloningと見なすことはできない。訓練コーパスの構築手順も完全には公開されていない。導入を検討するチームは、長文のプロソディ、数字や固有名詞、CPU上でのリアルタイム性能に加え、量子化後またはONNXへのエクスポート後に生じる歪みを独自に検証すべきだ。