NVIDIA、自然言語の指示で多言語文字起こしを制御する Nemotron 3.5 Transcribe を公開

NVIDIA は10月28日、Nemotron 3.5 Transcribe を公開した。開発者はテキスト指示によって、録音の出力を逐語録、読みやすく整えた文章、話者情報付きの文字起こしから選べる。同じモデルで翻訳や音声への質問応答も処理でき、これまで複数の処理段階に分かれていた作業を1つのモデルに集約する。用途は録音済み音声のオフライン処理であり、ストリーミング音声認識ではない。公式発表

アーキテクチャでは、Transformer 音声エンコーダーと凍結された話者ダイアライゼーションモデルを、Nemotron 3.5 Lightning の Mamba–Transformer 混合エキスパート基盤モデルに接続している。音声エンコーダーを含めて約340億パラメータで、1回の処理で有効になるのは約43億パラメータ。話者の活動情報を音響表現に注入して話者ラベル付きのテキストを生成し、CTC アライメントモジュールで単語単位のタイムスタンプを付与する。これにより、出力形式の制御と複数話者の音声認識を共通のアーキテクチャで処理できる。技術解説

対応範囲はタスクごとに異なる。文字起こしは40言語に対応し、そのうち31言語は英語との相互翻訳に対応する。話者の帰属に対応するのは13言語で、1つの録音でラベル付けできる話者は最大8人。音声への質問応答は英語で学習されている。中国語の用途では、「40言語対応」をすべての機能が同じ範囲をカバーすると解釈せず、タスク別の対応状況を確認する必要がある。NVIDIA の発表記事

デプロイについては、モデルカードに単一の H100 80GB で実行する例があり、コンテキスト長は65,536トークンと記載されている。NVIDIA は、NVFP4 と DFlash2 推測デコードを使うと、単一の RTX PRO 6000 Blackwell で毎秒最大2,238秒分の音声を処理できると公表している。ただしモデルカードによると、この数値に使われた NIM サービング最適化はオープンソース版に含まれていない。そのため、このスループットを自前の環境にそのまま当てはめることはできない。モデルカード

エンジニアリングチームは次に、実際の録音を使って専門用語、発話の重なり、長時間録音での欠落率を検証し、バッチ処理のスループットと単発処理のレイテンシを分けて測定するとよい。オープンウェイトにより調整や自前サービスの構築が可能だが、実際のコストは完全な重み、精度、サービングの実装に左右されるため、有効パラメータ数だけでは見積もれない。