HelixWorld、視点移動に追従する音場を評価するHelixBenchを公開

Noiz AIと香港科技大学のHelixWorldプロジェクトは10月12日、インタラクティブな世界モデルの評価対象を、視点の変化に音が追従するかどうかに広げるHelixBenchを公開した。今回公開されたのは評価リソースだ。モデルのプレビュー用ウェイトと推論コードは9月3日に、論文は9月29日に公開されている。プロジェクトの公開履歴

この評価は、具体的な課題に取り組む。生成された映像の視点が変われば、音源の左右チャンネル上の位置も変化するはずだ。映像の生成後に音声を付けるだけの手法では、ユーザーの動きやカメラの軌跡を適切に反映できない場合がある。HelixWorldは映像と音声を共同生成するアーキテクチャを採用し、クロスモーダル・アテンションによって視覚的な幾何情報と音響特徴を結び付ける。HelixBenchは、この連動を検証するためのテスト環境を提供する。技術発表

公開パッケージには、1,015枚の開始画像、音声・映像の説明、評価プログラム、固定の参照特徴量が含まれる。利用者は各サンプルについて生成したMP4を用意し、サンプルID、絶対パス、SHA-256をマニフェストに記録する必要がある。6つの指標は個別に報告され、総合スコアはない。KLとFADは音声分布と品質を、ImageBindとCLAPはクロスモーダルおよびテキストとの整合性を評価する。DeSyncは165件のイベントケース、Spatialは150件の視点ケースを使う。データセットの説明

Spatialの現行v3プロトコルは、結果の解釈に特に影響する。無効なクリップは−100点、条件を満たすものの音源が中央にしかないクリップは0点となり、それ以外は方向を伴う左右の画面位置の正確さに応じて採点される。そのため、モデルを比較する際は同一のプロトコルを使っていることを確認し、音声品質、同期、視点との一貫性を分けて見る必要がある。単一の数値では失敗例が見えなくなるおそれがある。インストーラーはサードパーティ製プログラムのバージョンを固定し、ダウンロードしたウェイトを検証する。公式発表によると、全工程はNVIDIA A10G 1基でテスト済みだ。評価プロトコル

制約も明確だ。公開パッケージには元映像も生成映像も含まれず、あるのは音声・映像の説明と参照特徴量だけだ。そのため研究者は、パッケージからすべての参照音声・映像をクリップごとに直接確認できない。また、モデルのリアルタイム性能はH800で測定されており、一般的なGPUにそのまま当てはめることはできない。今後は、独立した再現、採点バージョンの変更、長時間の視点移動や音源が画面外に出る際のエラー分布を追う必要がある。データセット、性能測定条件