AI 基礎設施
OpenAI 將 Habitat 由 Python 改寫為 Rust，CPU 與記憶體效率分別提升 6 倍、15 倍
支撐 ChatGPT、Codex 與 API 的線上儲存服務 Habitat，現以 Rust 處理 95% 生產流量，每秒總請求量已超過 7,000 萬。改寫成果來自 OpenAI 內部量測，資料庫層與多租戶最佳化則要等後續文章才會揭露。
OpenAI 公開支撐 ChatGPT、Codex、API 與內部服務的線上儲存平台 Habitat。它目前橫跨近 40 個區域，每秒處理逾 7,000 萬次請求，服務超過 500 PB 資料；但這不是新的模型儲存格式，而是位於產品與 Azure Cosmos DB、Valkey、Blob Storage 等資源之間的統一資料存取層，集中處理 schema、路由、授權、加密、多租戶隔離、限流及變更資料擷取。
Habitat 最初是嵌入應用程式的 Python client library。隨著使用者服務增加，協調版本與協定變更逐漸成為瓶頸，OpenAI 因而在 2025 年把它拆成獨立服務。Python 版本一度承受每秒逾 2,000 萬次請求，但 CPU 密集的路由、壓縮及加密工作會阻塞 `asyncio` event loop，放大尾端延遲。團隊以事件迴圈延遲監測、單程序併發上限及更多 worker 緩解問題；功能旗標同步解析造成的 CPU 尖峰，則以縮小設定、延長週期與加入 jitter 分散。
2026 年第二季，兩名工程師配合 Codex 與 GPT-5.5 將服務重寫為 Rust。新版已承接 95% 生產請求；官方量測顯示，相較 Python 版，CPU 效率提高 6 倍、記憶體效率提高 15 倍，平均與尾端延遲也下降。這個案例的重點不是「Rust 必然取代 Python」，而是先用較易迭代的語言釐清服務邊界，再於核心數與記憶體成為主要成本後重寫熱路徑。
工程團隊仍應保守解讀倍數：OpenAI 沒有公開硬體、負載分布、延遲百分位或重寫前後的完整功能等價表，外界無法重現比較。Habitat 也刻意把複雜搜尋與分析查詢導向 Rockset，避免拖累 OLTP 路徑，因此成果同時來自工作負載隔離，而非只靠語言。下一篇預定說明 Cosmos DB、多租戶可靠性及讀取快取，才足以評估整套架構如何達到目前規模。