AI 基礎設施
LiteLLM 1.100.0 將共享預算、MCP 權杖驗證與 Vertex Interactions 納入同一閘道
新版把模型存取群組的共用預算改為可按週期持久計算，並為 MCP 工作階段加入 RS256 簽章與 RFC 7662 introspection。它也擴充 Vertex AI、Bing grounding 與語音模型路由，但刪除既有 token 計算函式，升級前必須檢查直接匯入與資料庫遷移。
LiteLLM 於 9 月 6 日發布 1.100.0，重點不只是增加模型名稱，而是把多租戶 AI 閘道的身分、預算與供應商路由一起往前推進。新版可對「模型存取群組」執行共享預算，不再只能把額度綁在單一虛擬金鑰；後端新增 `LiteLLM_BudgetWindowSpend` 資料表，由 spend writer 維護每個計費週期的支出，讀取端也改走這張彙總表。這對同一團隊以多把金鑰存取一組模型的部署較實用，但升級者應先驗證 Prisma 遷移、週期邊界及併發扣款行為。
MCP 閘道方面，工作階段權杖現在可用非對稱 RS256 簽章，並提供 RFC 7662 token introspection，讓外部服務毋須共享對稱密鑰即可檢查權杖狀態。系統也能經 API 或管理介面批次匯入 Anthropic MCP connectors。供應商層則加入原生 Vertex AI Interactions API、Bing Search grounding，以及 Vertex `/v1/audio/transcriptions` 的 Gemini 3.5 Transcribe 支援；Responses 橋接、Anthropic thinking blocks、影片與串流計費亦有多項相容性修正。
安全與營運細節同樣值得注意：版本修正 Vertex passthrough 可能轉送呼叫者虛擬金鑰、重試紀錄可能保存轉送憑證，以及 RAG ingest 未完整套用上傳控制等問題；官方容器另提供 cosign 簽章驗證方式。不過這是一個變更面很大的閘道版本，官方沒有提出端到端效能或預算一致性基準。`prompt_token_calculator` 亦被標記為破壞性刪除，曾直接從 `utils` 匯入它的程式會失敗；正式部署前宜以流量重播測試 Responses、MCP、計費與 fallback 路徑，而非只確認服務能啟動。