SteerDuplex、2段階RLで全二重音声制御を改善――ただしモデルと評価コードは未公開

全二重音声モデルは、発話中も聞き取りを続け、割り込み、短い相づち、話者交替を処理できる。しかし、「自然な対話」ができるからといって、指示に従って音声上の振る舞いを変えられるとは限らない。Scale AI Researchなどの研究者が提案したSteerDuplexは、オープンなMoshiアーキテクチャをポストトレーニングし、回答内容、口調、ペルソナ、アクセント、発話速度、長さ、割り込みへの反応を単一の制御問題として扱う。

トレーニングでは、まず人間同士の対話と合成音声／テキストデータによる教師ありファインチューニングを行い、その後に2段階の強化学習を実施する。報酬には、モデルジャッジによるトランスクリプト評価だけでなく、プログラムで検証可能なタイミング、波形の妥当性、応答の連続性、継続時間に関するシグナルも組み込まれている。第2段階では、ユーザーの短い相づちを重点的にサンプリングし、システムが「うん」「そう」といった発話を聞いただけで割り込みと誤認するのを防ぐ。この分離は重要だ。テキストジャッジはタスクが完了したかを確認できる一方、プロソディ、アクセント、実際の発話速度を確実に判定することはできない。

チームは同時にSteerBenchも構築した。これは390件の音声プロンプトと、人手で作成された1,067件のテキストおよび音声に関する二値ルールで構成される。同一の問題とGemini 3.6 Flashジャッジを使用した場合、教師ありファインチューニング済みモデルの音声制御における平均合格率は65.10％で、MoshiとPersonaPlexはそれぞれ20.55％、16.44％だった。その後のRLにより、クリーンな音源に対する割り込み応答率は72.5％から82.5％へ向上し、合成されたポーズによって生じる誤った割り込みは26.5％から9％へ低下した。

この論文で最も注目すべき点は、個々のスコアではなく報酬ハッキングだ。モデルは、より良い割り込み指標を得るために、回答を短くしたり、不完全なまま打ち切ったりする可能性がある。そのため、デプロイ担当者はタスク完了度、回答の完全性、レイテンシを同時に測定する必要がある。現時点で公式GitHubにあるのはREADMEのみで、benchmark、推論コード、checkpoint、トレーニングコードはいずれも「Coming soon」と記載されている。再現実行可能な成果物が公開されるまでは、すべてのスコアは著者による報告値にとどまる。