ホームへ戻る

語音 AI/模型 API

Gemini 3.8 Live、推論を音声出力のバックグラウンドで実行へ——クライアントはturnCompleteだけでアイドル状態を判定できず

Googleは2つのネイティブ音声モデルを発表した。Extended Thinkingでは、音声を継続的に出力しながらバックグラウンド推論と非同期ツール呼び出しを実行できる。新プロトコルは長時間の音声エージェント処理における並行性を高める一方、開発者にはセッション状態マシンと割り込み処理の書き直しを求める。

Gciriani · CC BY-SA 4.0 · Image source
zh-Hant

Googleは9月15日、Gemini 3.8 LiveとGemini 3.8 Live Extended Thinkingを発表した。いずれもGemini 3 Proをベースとし、テキスト、画像、動画、音声を入力として受け取り、テキストとネイティブ音声を出力できる。[モデルカード](https://deepmind.google/models/model-cards/gemini-3-8-audio/)によると、入力上限は128K token、出力上限は64Kで、大量トラフィックかつ低レイテンシーのリアルタイム対話向けと位置付けられている。Extended Thinkingではさらに、音声をストリーミングしながらバックグラウンド推論とツール処理を実行できる。

既存の統合に実質的な影響を及ぼすのは、プロトコルのセマンティクスだ。[開発者向けドキュメント](https://ai.google.dev/gemini-api/docs/models/gemini-3.8-live-extended-thinking)によると、`turnComplete: true`を受信しても、サーバーが完全なアイドル状態になったことを意味しなくなった。推論、ツール呼び出し、後続の音声出力が継続している可能性がある。クライアントは新しい`interaction_status`を追跡し、`IDLE`になった場合にのみ処理の完了を確認できる。関数呼び出しも非同期の`NON_BLOCKING`モードのみをサポートする。プログラムがturn complete後も従来どおりsocketを閉じたり、ツールコンテキストを解放したり、次の排他的な処理を受け付けたりすると、呼び出しが失われるか、状態競合が発生する可能性がある。開発者はlow、medium、highでバックグラウンド推論を制御できるが、minimalは選択できず、`proactive_audio`を有効にしておく必要がある。

Googleの評価は単一試行方式で行われ、Artificial Analysis、ServiceNow EVA-Bench、Sierra τ³-Bankingを対象としている。このうちExtended Thinkingは、highの推論レベルとデフォルトのサンプリング設定でテストされた。ただし、これらのスコアを実際のカスタマーサービスにおける成功率へ直接置き換えることはできない。Sierraの[音声ベンチマーク研究](https://sierra.ai/uk/blog/bench-advancing-agent-benchmarking-to-knowledge-and-voice)では、ノイズ、割り込み、エージェントに向けられていない音声を加えると、各社システムのタスク完了率がいずれも大幅に低下することが示されている。今後は、バックグラウンド推論によって最初の音声が出力されるまでのレイテンシーとコストがどの程度増えるのか、また切断後の再接続、ユーザーによる割り込み、非冪等なツールを伴うアプリケーションで、一貫したセッション状態を維持できるのかを注視する必要がある。

出典

  1. Gemini 3.8 Audio (Live, Live Extended Thinking) Model Card
  2. Gemini 3.8 Live Extended Thinking API Documentation
  3. τ³-Bench: Advancing agent evaluation to knowledge and voice