NAPEは次のスペクトログラム・パッチ埋め込みだけを予測、303M音声エンコーダーがIEMOCAPで68.8%を達成

Imperial College Londonのチームは、言語モデルの次ステップ予測という概念をスペクトログラムに移したNAPE（Next-Audio-Patch-Embedding prediction）を提案した。ただし、離散的なacoustic tokenizerの構築も、元の音声の再構成も行わない。[論文](https://arxiv.org/abs/2608.19863)では、まず16 kHzのモノラル音声を128-band log-mel spectrogramに変換する。10秒間の各音声を504個の16×16パッチに分割し、因果Transformerが先行するパッチに基づいて次のパッチの連続埋め込みを予測する。

学習目標は負のコサイン類似度のみで、ターゲット分岐にはstop-gradientを適用し、さらに非対称なpredictor headを追加する。アブレーションでは、3つの設計すべてが不可欠であることが示された。prediction shiftを取り除くと、モデルは現在の入力をコピーするようになり、stop-gradientを取り除くと、埋め込みが共通の定数へ収束する。causal maskを無効にしても数値的な発散は起きないが、ターゲットパッチを先読みできるため、AudioSet-20KのmAPは14.3ポイント、ESC-50の精度は25.4ポイント低下した。この設計により、NAPEでは再構成decoder、EMA teacher、負例、追加の正則化が不要になる。

チームは、ラベルなしAudioSetで19M、85M、303Mの3種類のエンコーダーを事前学習した。使用したのは、不均衡な学習用クリップ約198万件と、均衡化されたクリップ2.1万件である。303M版はAudioSet-2Mで50.2 mAP、AudioSet-20Kで40.5 mAPを記録した。IEMOCAPの感情認識では、対角走査版が68.8%の精度に達し、表中で最も高かった既存結果を4.3ポイント上回った。3つのモデルサイズはいずれも、6つの下流タスクで規模の拡大に伴う性能向上を示したが、BaseからLargeへのスケーリングによる限界利益はすでに縮小し始めている。

この研究は、複雑なマスク再構成やteacher–student型の事前学習を、端的に記述できる自己回帰型の表現学習目標へと簡素化しており、音声エンジニアリングチームにとって注目に値する。[Hugging Faceの論文ページ](https://huggingface.co/papers/2608.19863)に掲載された結果は、現時点では依然として著者らによるものだけである。各ベースラインのスコアは原論文から引用されており、すべてを同一のコードと計算資源で再実行したわけではない。また、ファインチューニングではSpecAugment、Mixup、CutMix、EMAなどからなる完全なデータ拡張スタックが引き続き使用されている。研究対象もイベント、キーワード、感情の分類に限られており、エンドツーエンド音声認識、音声生成、クロスリンガル、長時間音声のテストは行われていない。今後の焦点は、著者らが重みとコードを公開するか、そして簡素化された事前学習目標が、単にアーキテクチャ上の構成要素を減らすだけでなく、総計算量を実際に削減できるかどうかである。