OpenAI、HabitatをPythonからRustへ書き換え、CPU効率を6倍、メモリ効率を15倍に向上

OpenAIは、ChatGPT、Codex、API、および社内サービスを支えるオンラインストレージプラットフォーム「Habitat」を公開した。現在は約40リージョンにまたがり、毎秒7,000万件を超えるリクエストを処理し、500 PB以上のデータを提供している。ただし、これは新しいモデル保存形式ではない。製品とAzure Cosmos DB、Valkey、Blob Storageなどのリソースとの間に位置する統一データアクセス層であり、スキーマ、ルーティング、認可、暗号化、マルチテナント分離、レート制限、変更データキャプチャを一元的に処理する。

Habitatは当初、アプリケーションに組み込まれるPythonクライアントライブラリだった。利用するサービスが増えるにつれ、バージョンやプロトコル変更の調整が次第にボトルネックとなったため、OpenAIは2025年にHabitatを独立したサービスとして切り出した。Python版は一時、毎秒2,000万件を超えるリクエストを処理していたが、CPU負荷の高いルーティング、圧縮、暗号化処理が`asyncio`イベントループをブロックし、テールレイテンシを増幅させていた。チームは、イベントループ遅延の監視、プロセス単位の同時実行数の上限設定、workerの増設によって問題を緩和した。また、feature flagの同期的な解析によって発生するCPU使用率の急上昇には、設定データの縮小、更新間隔の延長、jitterの導入による負荷分散で対処した。

2026年第2四半期、2人のエンジニアがCodexとGPT-5.5を活用し、サービスをRustで書き直した。新版はすでに本番リクエストの95％を処理している。OpenAIの測定によると、Python版と比べてCPU効率は6倍、メモリ効率は15倍に向上し、平均レイテンシとテールレイテンシも低下した。この事例の要点は「Rustが必ずPythonを置き換える」ということではない。まず反復開発しやすい言語でサービス境界を明確にし、その後、CPUコア数とメモリが主要なコスト要因になった段階でホットパスを書き換えた点にある。

ただし、エンジニアリングチームはこれらの倍率を慎重に解釈する必要がある。OpenAIは、ハードウェア、負荷分布、レイテンシのパーセンタイル、書き換え前後の完全な機能同等性を示す比較表を公開しておらず、外部から比較結果を再現することはできない。またHabitatは、複雑な検索や分析クエリを意図的にRocksetへ振り分け、OLTPパスへの負荷を回避している。したがって、この成果は言語の変更だけでなく、ワークロード分離にも由来する。次回の記事ではCosmos DB、マルチテナント環境の信頼性、読み取りキャッシュについて説明する予定であり、アーキテクチャ全体が現在の規模をどのように実現しているかを評価するには、その内容を待つ必要がある。