返回首頁

AI 研究

Kyutai 串流頭像隨語音生成,單卡即時仍有條件

AURA 不必預先取得後續多秒語音;但公開參考程式的速度低於論文數字,資料集也尚未完整釋出,部署與重現須分開評估。

zh-Hant

想替語音助理加上一張會說話的臉,開發者需要影像隨音訊到達而生成。Kyutai 的 AURA 以人像和語音為輸入,只需取得當前音訊片段便能開始生成對應畫面,減少等待後續多秒語音的需求。它處理的是說話頭像,理解問題與產生回答仍需其他模型。研究於 11 月 19 日提交論文,Kyutai 隔日發布介紹。論文摘要、官方介紹

逐段生成,減少等待未來語音

AURA 將原本一次處理較長影片的生成模型,蒸餾成每段只需四次去噪的模型;去噪就是逐步把雜訊轉成畫面的過程。它另以滾動 KV 快取保留先前畫面的注意力運算資訊,讓新片段沿用近期動作脈絡,並控制快取大小。這種結構讓模型能持續接收音訊、逐段輸出,但仍須等待當前片段與運算完成,不能視為零延遲。方法章節

論文的即時速度,與公開程式有差距

作者在單張 H100 上,以固定十秒英語音訊與 960×960 參考圖測量,報告 13 億參數版本達每秒 20.7 格,高於每秒 16 格的播放需求;50 億參數版本則以 720p 達每秒 9.7 格,低於其每秒 25 格播放率。端到端測量包含相關額外開銷,但排除載入與暖機;這些都是團隊自報結果,不能直接推定一般消費級顯示卡也能達成。實驗設定與結果

更貼近下載後使用情境的是模型卡:開啟 --compile 時,公開參考程式在單張 H100 約達每秒 16 格;論文的 20.7 格來自最佳化管線。模型卡列出的輸出尺寸為 576×576 或 768×512。另須留意,論文摘要將小模型標為 576p,主要及補充結果表卻寫 480p,規格標示仍不一致。上述吞吐量也不能單獨回答第一格畫面多久出現。模型卡、論文表格

有重現入口,資料與授權仍有限制

Kyutai 官方帳號已列出兩款 AURA 模型與資料集;小模型卡也提供權重說明、程式入口及執行指令。不過,其權重採 CC BY-NC 4.0,限定非商業用途。想把它接進商用助理,不能只確認速度便直接採用。官方資源清單、模型卡與授權

資料釋出範圍也比論文宣告窄。資料卡明寫目前僅部分公開:現有內容是小模型教師的生成中間狀態,含三萬筆訓練樣本及兩百筆驗證樣本,沒有直接提供解碼後影片;論文所述的大模型教師影片、音軌與中間狀態仍待釋出。訓練音訊、參考圖與提示詞還需從 Hallo3 另行取得。因此,外部研究者已有可追索的重現入口,卻不能把目前資料庫當成論文完整材料已到齊。資料卡

來源

  1. AURA: Audio-Driven Streaming Avatars in Real Time
  2. AURA: AUdio-dRiven streaming Avatar
  3. AURA: AUdio-dRiven streaming Avatar
  4. kyutai (Kyutai)
  5. kyutai/AURA-1.3B · Hugging Face
  6. kyutai/AURA-Dataset · Datasets at Hugging Face