YuE2、編集可能な楽譜を介して楽曲全体を生成――更新評価でbest-of-8のコスト差が明らかに

YuE2は、長尺の楽曲生成を観察可能な中間表現へと分解する。歌詞とスタイルを入力すると、モデルはまずABC形式の主旋律とコードを出力し、続いてセマンティック音楽tokenを生成する。さらにflow matchingで音響latentを生成し、最後にVAEで48 kHzステレオ音声へデコードする。これにより、「サビのハーモニーを変更する」「ボーカルのメロディを維持する」「アレンジを変換する」といった作業で、自然言語による再サンプリングを繰り返すだけでなく、先に楽譜を編集してから再レンダリングできる。[プロジェクトのドキュメント](https://github.com/multimodal-art-projection/YuE)では、`plan()`、`generate_semantic()`、`synthesize()`、`decode()`などの段階別インターフェースも公開されている。

中核となる生成器は約35億9,000万パラメータ、28層で、AR–NAR Mixture-of-Transformersを採用する。自己回帰（AR）と非自己回帰（NAR）のエキスパートは注意計算を共有する一方、それぞれ独自の正規化、投影、MLPを保持する。前者は楽譜とセマンティック系列を担当し、後者は音響生成を処理する。楽曲作成、ゼロショット・カバー、編集には同じcheckpointを使用し、異なるのは楽譜の取得元だけだ。カバー生成では、独立したSheetSage2を使って元の音声からメロディを採譜した後、YuE2に新しい歌詞とスタイルで再演奏させることができる。

9月12日に更新された[WildSongBenchの結果](https://huggingface.co/datasets/m-a-p/WildSongBench/blob/main/benchmark/results.md)は、192件のプロンプトと、オープンおよびクローズドな17システムを対象としている。YuE2のbest-of-8はSongBench平均6.9632を記録し、表に掲載されたMureka 9、Suno v5、Suno v6を上回った。一方、標準的な2候補設定のYuE2は6.7316だった。この差は重要な制約も明らかにしている。最高スコアでは、まず8曲を生成し、自動評価による音楽性、制御性、音素誤り率に基づいて1曲を選んでいる。他システムとは候補数や提出プロトコルが統一されておらず、平均値の小さな差について統計的有意性も示されていない。また、これは人間による選好評価でもない。

現時点でのデプロイ要件は、Python 3.12、BF16をサポートするNVIDIA GPU、約24 GBのVRAMである。コードはApache 2.0ライセンスだが、モデルの重みには商用利用を制限するCC BY-NC 4.0が適用される。[モデルカード](https://huggingface.co/m-a-p/YuE2-3B)では重みと再現用リソースがすでに提供されているものの、技術レポートはまだ公開されていない。今後は、単一候補での品質、生成レイテンシ、メモリ使用量の測定に加え、編集可能な記号的プランニングが自動評価スコアを高めるだけでなく、実際に人間のワークフロー効率を向上させるかを見極める必要がある。