語音模型
Xiaomi-CocktailASR-1、声紋プロンプトで混合音声から対象話者を特定 AliMeeting遠距離収音の文字誤り率を20.63%に低減
Xiaomiは、1～4秒の参照音声と混合録音を同一の音声エンコーダーに入力し、事前に音声分離を行わないエンドツーエンドの対象話者ASRを提案した。対象話者が不在の場合には空文字列を出力できる一方、学習は非公開データに大きく依存しており、初版の報告では検証可能な重みやコードもまだ提供されていない。
複数人が同時に話す状況では、従来の音声認識は通常、すべての音声を混在させたまま文字起こしする。一方、対象話者ASR（TS-ASR）は、声紋に基づいて指定された人物の発話だけを出力する必要がある。Xiaomiが9月10日に提出したXiaomi-CocktailASR-1の技術報告では、1～4秒の参照音声、1秒の無音、認識対象の混合音声を順番に連結し、参照区間を声紋プロンプトとして使用する。これにより、対象音声の分離後に認識する二段階方式で生じる誤差を回避する。
アーキテクチャは、Data2Vec2をベースとする6億パラメータの音声エンコーダーから始まる。FBank特徴量を、意味情報と話者情報を併せ持つ1,280次元の表現へ変換し、線形Adapterによって音声表現をQwen3-8Bベースの言語モデル空間へマッピングする。チームは約40万時間の複数話者データ、60万時間の単一話者データ、および「参照人物が録音内に存在しない」1万時間のネガティブサンプルを使用し、基礎ASR、対象話者学習、Chain-of-Thoughtデータ学習、最終的なSFT／強化学習という4段階で学習を行った。
英語のLibriMixによる2話者混合音声では、報告された対象話者WERは4.11%で、記載されているTCPベースラインの4.84%から相対的に15.1%低下した。LibriSpeechMixの2話者混合音声では、従来の5.40%から2.90%に低下している。実環境の遠距離収音データでは、AMI-SDMのWERが21.81%、中国語のAliMeeting-Farの文字誤り率が20.63%で、後者は報告書が引用するMC-TS-ASRの27.50%を下回った。また、モデルは不一致の声紋を使ったネガティブサンプルにより、空文字列を直接出力するよう学習しているため、導入側で別途拒否しきい値を設定する必要がない。
この統一インターフェースは会議、ウェアラブルデバイス、スマートホームに適しているが、現時点の根拠は主としてチームが独自に設計した評価に基づく。約100万時間の学習音声の大半は公開されておらず、各ベースラインのデータ量や特化の度合いも完全には一致していない。いわゆるChain-of-Thoughtも、話者数、性別、外部のCAM++による類似度を用いたテンプレートから構築されており、モデルの意思決定を忠実に説明するものとは見なせない。論文の初版時点では、公開ページに重みや推論コードも掲載されていない。実際のレイテンシー、メモリ要件、第三者による再現性が、今後の検証課題となる。