AI 基礎設施
LiteLLM 1.100.0、共有予算、MCPトークン検証、Vertex Interactionsを単一ゲートウェイに統合
新バージョンでは、モデルアクセスグループの共有予算を期間単位で永続的に算出できるようにし、MCPセッションにRS256署名とRFC 7662 introspectionを導入した。Vertex AI、Bing grounding、音声モデルのルーティングも拡充した一方、既存のtoken計算関数が削除されたため、アップグレード前に直接importしている箇所とデータベースmigrationを確認する必要がある。
LiteLLMは9月6日に1.100.0をリリースした。今回の焦点は単なるモデル名の追加ではなく、マルチテナントAIゲートウェイのidentity、予算、provider routingを一体的に前進させることにある。新バージョンでは「モデルアクセスグループ」に共有予算を適用でき、上限を単一のvirtual keyだけに紐付ける必要がなくなった。バックエンドには`LiteLLM_BudgetWindowSpend`テーブルが追加され、spend writerが各請求期間の支出を管理し、読み取り側もこの集計テーブルを参照するようになった。同じチームが複数のkeyを使って一連のモデルにアクセスする環境では実用性が高いが、アップグレード時にはPrisma migration、期間の境界、同時実行時の課金控除動作を事前に検証すべきだ。
MCPゲートウェイでは、セッショントークンで非対称RS256署名を利用できるようになり、RFC 7662 token introspectionも提供される。これにより、外部サービスは対称鍵を共有せずにトークンの状態を確認できる。また、APIまたは管理画面からAnthropic MCP connectorsを一括importできる。provider層には、ネイティブのVertex AI Interactions API、Bing Search grounding、Vertexの`/v1/audio/transcriptions`におけるGemini 3.5 Transcribe対応が追加された。Responses bridge、Anthropic thinking blocks、動画およびstreaming課金についても、複数の互換性修正が加えられている。
セキュリティと運用上の細部にも注意が必要だ。このバージョンでは、Vertex passthroughが呼び出し元のvirtual keyを転送する可能性、retryログに転送用credentialが保存される可能性、RAG ingestでアップロード制御が完全には適用されない問題などが修正された。公式containerにはcosignによる署名検証方法も用意されている。ただし、これは変更範囲の大きいゲートウェイリリースであり、公式からend-to-endの性能benchmarkや予算整合性benchmarkは示されていない。`prompt_token_calculator`も破壊的変更として削除され、`utils`から直接importしていたプログラムは動作しなくなる。本番環境へのデプロイ前には、サービスが起動することだけを確認するのではなく、トラフィックリプレイによってResponses、MCP、課金、fallbackの各経路をテストすることが望ましい。