LLMOps／成本治理
OpenAI API 新增組織與專案硬性支出上限，觸頂後以 429 中斷流量
OpenAI 將原本偏向告警用途的月度預算控制擴充為可執行的硬性上限，並支援組織及個別專案兩種範圍。工程團隊須把支出超限視為獨立的 429 故障類型，避免一般限流重試造成無效流量與服務中斷。
OpenAI 更新 API 平台的支出控制，組織擁有者可設定組織級月度上限，組織或專案擁有者亦可限制個別專案。每項限制可只用作告警，也可啟用硬性執行；後者在平台追蹤的支出達到門檻後停止受影響的 API 流量。組織上限會回傳 HTTP 429 與 `organization_spend_limit_exceeded`，專案上限則使用 `project_spend_limit_exceeded`。既有支出告警不會因啟用硬上限而消失，因此團隊可先在較低百分比通知值班人員，再以較高門檻切斷流量。
這項變更補上生成式 AI 生產環境長期欠缺的「真正成本熔斷器」。以往月度預算通常只是軟門檻，代理迴圈、批次任務或外洩金鑰即使越過預算仍可能繼續呼叫模型；現在可按專案隔離開發、測試與正式環境的最壞支出。不過，硬上限也成為新的可用性依賴。SDK 及閘道不應把這兩個錯誤碼當成一般速率限制持續指數退避，而應停止非必要工作、保存代理狀態並轉交人工或經批准的備援專案。平台明確指出執行並非即時，最終帳款可能略高於設定值，因此它不是精準的逐請求配額。工程團隊還應確認串流、批次、微調及跨專案流量如何歸帳，並監控從告警到硬切斷之間的延遲。