ホームへ戻る

推論系統

GPT-Live音声エージェント、通話待機を維持し待機中の料金を60%削減

新しいAPIが利用可能になり、既存モデルにも待機料金が設定された。開発者は待機中の音声コストを抑えられるが、復帰時の遅延との兼ね合いがあり、バックエンドモデルやツールの費用は別途かかる。

zh-Hant

音声エージェントが、ユーザーが画面を読んだり、情報を探したり、考えたりするのを待つ間、通話接続を維持したままモデルの推論を一時停止し、より低い料金で課金できる。OpenAIのGPT-Liveドキュメントでは、standby(待機)設定が利用可能になった。指定した時間だけアイドル状態が続くと一時停止し、ユーザーが再び話すと通話を再確立せずに再開する。セッションのドキュメント

GPT-Live-1.1には、APIリクエストで直接使えるモデルIDが用意されている。公式価格表にはGPT-Live-1と1.1の両方について待機料金も記載されている。既存の開発者は、このコスト削減策を評価するにあたり、まずモデルをアップグレードする必要はない。モデルページ、価格表

接続を維持するには、アイドル時間のしきい値を設定する

待機はWebRTCに対応している。WebRTCは、ブラウザーなどのアプリケーションがリアルタイム音声を送信するための接続方式だ。セッションの作成時にsession.wake_policy.typeをspeechに設定し、session.idle_timeout_sには5〜60秒の整数を指定する。しきい値は、入力または出力の文字起こしがない時間に基づいて判定される。タイムアウトを省略すると、最初に待機から復帰した後はセッションが終了するまで有効な状態が続く。設定方法

待機中もマイクの音声トラックは有効にしておく必要があり、接続とセッションIDは変わらない。復帰時には会話履歴が復元される。ただし公式ドキュメントは、待機後に短く話しかけた場合、最初の応答が遅くなることがあると説明している。開発者は、早く待機に切り替えてコストを抑えるか、応答の速さを優先するかに応じてしきい値を決める必要がある。マイクをミュートしただけでは、待機状態になったとは見なされない。動作と制限

60%の削減は、実際に待機している時間に限られる

両モデルのアクティブ時の料金は1分あたり0.05ドル、待機時は1分あたり0.02ドルで、秒単位で課金される。したがって、1分間をアクティブ状態から待機状態に切り替えると0.03ドル節約でき、その時間帯の料金は60%下がる。通話全体での削減率は、実際に待機していた時間の割合によって変わる。公式価格表

仮に10分間の通話のうち、6分がアクティブ状態で、4分が待機状態だった場合、音声時間の料金は0.38ドルとなる。全時間をアクティブ状態にした場合は0.50ドルで、差は24%だ。これは定価に基づく試算であり、実際の請求額を計測したものではない。待機に切り替わる前の待ち時間は、引き続きアクティブ時間に含まれる。

また、GPT-Liveのバックエンドモデルとツールの使用料は別途かかる。上記の差額を総請求額の削減率と見なすことはできない。バックエンドの支出が一定なら、その割合が高いほど、音声の待機で節約できる金額が総額に占める割合は小さくなる。料金の説明

長時間離席する場合は、セッションの終了を検討する

待機は、接続を維持して会話をいつでも再開できるようにする場面に適している。対話の間隔が長くなる場合、公式ドキュメントは、会話とアプリケーションのタスク状態を保存して音声セッションを終了し、ユーザーが戻ったときに再作成する方法を検討するよう勧めている。ただし、セッションを終了すると音声を聞き続けることはできないため、アプリ側に再開ボタン、プッシュ・トゥ・トーク、またはウェイク機能を用意する必要がある。アイドル状態の処理に関する推奨事項

つまり、短い間は待機にして会話を続けられる状態を保ち、長時間離れる場合は再接続のコストと待ち時間を踏まえて選択する。これらは公式機能と定価に基づく導入上の判断であり、独立した遅延やコストのテスト結果ではない。

出典

  1. Managing GPT-Live sessions | OpenAI API
  2. GPT-Live-1.1 Model | OpenAI API
  3. Pricing | OpenAI API