返回首頁

推論系統

GPT-Live 語音代理可保留通話待機,時段費率降六成

新版 API 已可使用,既有模型也列有待機費率。開發者能降低等待期間的語音費用,但須權衡恢復延遲,並另算後端模型與工具支出。

zh-Hant

語音代理等待使用者閱讀畫面、找資料或思考時,可以保留通話連線,讓模型暫停推論並改按較低費率收費。OpenAI 的 GPT-Live 文件已提供 standby 待機設定:閒置達指定門檻後暫停,使用者再次說話時恢復,不必重新建立通話。工作階段文件

GPT-Live-1.1 已有可直接用於 API 請求的模型 ID;官方價格表也同時列出 GPT-Live-1 與 1.1 的待機價格。對既有開發者,評估這項省費方式不必先以升級模型為前提。模型頁、價格表

保留連線,仍須設定閒置門檻

待機適用於 WebRTC,也就是瀏覽器等應用傳送即時語音的連線方式。建立工作階段時,將 session.wake_policy.type 設為 speech,再把 session.idle_timeout_s 設為 5 至 60 秒的整數。門檻依沒有輸入或輸出逐字稿的時間判定;若省略逾時設定,首次喚醒後便會持續啟用,直到工作階段結束。設定說明

待機期間須保持麥克風音軌啟用,連線與工作階段 ID 不變,恢復時會還原對話歷史。不過,官方提醒,待機後遇到簡短發話,第一個回應可能較慢。這讓開發者必須在提早省費與接話速度之間選擇門檻;單純將麥克風靜音,也不能視為已進入待機。行為與限制

六成降幅,只計真正待機的時間

兩款模型的啟用費率都是每分鐘 0.05 美元,待機為每分鐘 0.02 美元,按秒計費。因此,每分鐘從啟用改為待機可省 0.03 美元,該時段費用降低 60%;整通電話的降幅則取決於實際待機比例。官方價格表

以假設的十分鐘通話為例,若六分鐘啟用、四分鐘已進入待機,語音時間費用為 0.38 美元;全程啟用則是 0.50 美元,相差 24%。這是按牌價計算的示例,並非實測帳單,進入待機前的等待秒數仍須歸入啟用時間。

此外,GPT-Live 的後端模型與工具用量另行收費。上述差額不能直接當成總帳單降幅;若後端支出不變,其占比越高,語音待機省下的費用占總額就越小。計費說明

長時間離開,可考慮關閉工作階段

待機適合仍需保持連線、隨時接續對話的等待。若互動間隔很長,官方文件建議考慮保存對話與應用任務狀態,關閉語音工作階段,待使用者回來再重建。但關閉後無法繼續聆聽,應用須另備恢復按鈕、按住說話或喚醒機制。閒置處理建議

因此,短暫停頓可透過待機保留接續能力;長時間離開則需要把重新連線的成本與等待時間納入選擇。這些是依官方功能與牌價作出的部署判斷,並非獨立延遲或成本測試。

來源

  1. Managing GPT-Live sessions | OpenAI API
  2. GPT-Live-1.1 Model | OpenAI API
  3. Pricing | OpenAI API