Tencent AuK、単一の命令インターフェースで音声生成・コンテンツ書き換え・音響編集を統合

Tencent Hunyuan（騰訊混元）や上海交通大学などのチームは9月8日、[AuK技術レポート](https://arxiv.org/abs/2609.08936)を提出し、翌日に[コードとモデルウェイト](https://github.com/Tencent-Hunyuan/AuK)を公開した。TTS、音声修復、ノイズ除去、音源分離の各モデルを個別に連結する一般的なワークフローとは異なり、AuKは自然言語による命令と、任意で指定できる参照音声を受け取り、ゼロショットTTSと記述ベースTTS、単語やフレーズの挿入・削除、歌詞の書き換え、ピッチと話速の制御、感情・声質・アクセントの調整、さらに音声強調や音源分離など、16種類のタスクを統一的に処理する。

アーキテクチャは3つの部分で構成される。マルチモーダル言語モデルが意味的条件を提供し、音声、一般音響、音楽で共同学習したVAEが音響コンテンツを表現する。生成器はまず、デュアルストリームMMDiTで各条件を個別に処理した後、シングルストリームDiTへ渡し、rectified flow目的関数を用いて出力を合成する。チームによると、学習データは換算して約30億3,000万件の命令—音声ペア、実効的な教師あり学習時間は195万時間に相当する。最初に純粋な生成事前学習を行い、続いて生成と編集を共同学習し、最後に人間の選好による最適化と報酬ベースの強化学習をそれぞれ適用した。

デプロイ時のリソース要件は「1.5B」という数字だけでは見積もれない。現行実装では、独立したVAEとQwen2.5-Omni-3Bエンコーダーも読み込む必要があり、チェックポイントも別々にダウンロードする。ベース版ではサンプリングステップ数とclassifier-free guidance（CFG）を調整できる。一方、AuK-Flashは一貫性初期化とタスクルーティング蒸留を経ており、4ステップ固定でCFGを無効化する。公式測定では、同一条件下のウォールクロック時間が4.5倍高速だった。リポジトリにはコマンドライン、Python、Gradio、ComfyUI、ファインチューニング用の各インターフェースがすでに用意されており、エンジニアリングチームが検証しやすい。ただし、論文で示された最先端の結果については、異なる言語、アクセント、ノイズ環境での第三者による再現が待たれる。また、ボイスクローニングを巡る許諾、なりすまし、ウォーターマーク管理の問題も、モデルがオープンソース化されたからといって自動的に解決するわけではない。