OpenAI API、組織とプロジェクトにハード支出上限を追加—到達後は429でトラフィックを遮断

OpenAIはAPIプラットフォームの支出管理を更新した。組織の所有者は組織単位の月次上限を設定でき、組織またはプロジェクトの所有者は個別プロジェクトにも上限を設けられる。各上限はアラートのみに使用することも、ハード上限として強制適用することも可能だ。後者では、プラットフォームが追跡する支出額がしきい値に達すると、対象となるAPIトラフィックが停止される。組織上限の場合はHTTP 429と`organization_spend_limit_exceeded`が返され、プロジェクト上限の場合は`project_spend_limit_exceeded`が使用される。既存の支出アラートはハード上限を有効にしても維持されるため、チームは低い割合のしきい値でオンコール担当者に通知し、より高いしきい値でトラフィックを遮断できる。

この変更により、生成AIの本番環境に長らく欠けていた「真のコスト・サーキットブレーカー」が実現する。従来の月次予算は通常、ソフトリミットにすぎず、エージェントループ、バッチジョブ、漏えいしたAPIキーなどは、予算を超過してもモデルを呼び出し続ける可能性があった。今後はプロジェクト単位で開発、テスト、本番環境を分離し、それぞれの最悪ケースの支出額を制限できる。ただし、ハード上限は可用性に関わる新たな依存要素にもなる。SDKやゲートウェイは、これら2つのエラーコードを通常のレート制限として扱い、指数バックオフを継続すべきではない。代わりに、不要不急の処理を停止し、エージェントの状態を保存したうえで、人間の担当者または承認済みの予備プロジェクトへ引き継ぐ必要がある。プラットフォームは、上限の適用がリアルタイムではなく、最終的な請求額が設定値をわずかに上回る可能性があると明示している。そのため、これはリクエスト単位の厳密なクォータではない。エンジニアリングチームはさらに、ストリーミング、バッチ、ファインチューニング、およびプロジェクトをまたぐトラフィックがどのように計上されるかを確認し、アラート発生からハード遮断までの遅延を監視する必要がある。