ホームへ戻る

AI 研究

Kyutaiのストリーミングアバター、音声に合わせて生成 単一GPUでのリアルタイム動作には条件あり

AURAは後続の数秒分の音声を事前に必要としない。一方、公開リファレンス実装の速度は論文の数値を下回り、データセットもまだ完全には公開されていない。導入と再現性は分けて評価する必要がある。

zh-Hant

音声アシスタントに話す顔を加えるには、音声の到着に合わせて映像を生成する必要がある。KyutaiのAURAは、人物画像と音声を入力として、現在の音声セグメントを受け取るだけで対応する映像の生成を開始できるため、後続の数秒分の音声を待つ必要を減らせる。AURAが扱うのは話すアバターであり、質問の理解や回答の生成には別のモデルが必要だ。研究論文は11月19日に投稿され、Kyutaiは翌日に紹介記事を公開した。論文の概要、公式紹介

セグメントごとに生成し、後続音声を待つ時間を短縮

AURAは、もともと長めの動画を一度に処理する生成モデルを、各セグメントで必要なノイズ除去を4回に抑えたモデルへと蒸留している。ノイズ除去とは、段階的にノイズを画面へ変換する処理だ。また、ローリングKVキャッシュで過去の画面に関するAttentionの計算情報を保持し、直近の動きの文脈を新しいセグメントに引き継ぎながら、キャッシュのサイズを制御する。この構造により、音声を継続的に受け取り、セグメントごとに出力できる。ただし、現在のセグメントの処理と計算が終わるまで待つ必要があり、遅延がゼロになるわけではない。手法の章

論文でのリアルタイム速度と公開コードには差

著者らは、単一のH100で、長さを10秒に固定した英語音声と960×960の参照画像を使って測定した。13億パラメータ版は毎秒20.7フレームで、再生に必要な毎秒16フレームを上回った。50億パラメータ版は720pで毎秒9.7フレームとなり、毎秒25フレームの再生速度を下回った。エンドツーエンドの測定には関連する追加オーバーヘッドが含まれるが、モデルの読み込みとウォームアップは除外されている。これらはチームが報告した結果であり、一般的なコンシューマー向けGPUでも達成できるとは限らない。実験設定と結果

ダウンロード後の利用環境により近い数値はモデルカードに記載されている。--compileを有効にした場合、公開リファレンス実装は単一のH100で約毎秒16フレームに達する。論文の毎秒20.7フレームは最適化されたパイプラインでの値だ。モデルカードに記載された出力解像度は576×576または768×512。なお、論文の概要では小型モデルを576pとしている一方、主要な結果表と補足資料では480pと記されており、仕様表記に食い違いがある。また、スループットだけでは最初のフレームが出るまでの時間は分からない。モデルカード、論文の表

再現の手掛かりはあるが、データとライセンスには制約

Kyutaiの公式アカウントでは、2種類のAURAモデルとデータセットが公開されている。小型モデルのカードには、重みの説明、コードへの入口、実行コマンドも掲載されている。ただし、重みのライセンスはCC BY-NC 4.0で、非商用利用に限られる。商用アシスタントへの組み込みを検討する場合、速度を確認するだけで採用を決めることはできない。公式リソース一覧、モデルカードとライセンス

データの公開範囲も、論文で述べられた範囲より狭い。データカードには、現在は一部のみ公開と明記されている。公開済みの内容は、小型モデルの教師モデルが生成した中間状態で、訓練サンプル3万件と検証サンプル200件を含む。デコード済みの動画は直接提供されていない。論文で述べられた大型モデルの教師動画、音声トラック、中間状態は、今後の公開を待つ必要がある。訓練用の音声、参照画像、プロンプトは、別途Hallo3から入手しなければならない。外部の研究者が追跡できる再現の手掛かりはあるものの、現時点のデータセットを論文の全資料がそろったものと見なすことはできない。データカード

出典

  1. AURA: Audio-Driven Streaming Avatars in Real Time
  2. AURA: AUdio-dRiven streaming Avatar
  3. AURA: AUdio-dRiven streaming Avatar
  4. kyutai (Kyutai)
  5. kyutai/AURA-1.3B · Hugging Face
  6. kyutai/AURA-Dataset · Datasets at Hugging Face