Experiential、エージェント向けモデルゲートウェイを公開、実際のトラジェクトリに基づきコストと品質の間で自動ルーティング

Experiential Labsは8月28日、Experiential 0.7.2をPyPIで公開し、モデルゲートウェイをApache 2.0ライセンスの下でオープンソース化した。開発者は`pip install experiential`でローカルエンドポイントを起動し、OpenAI SDKから共通の`/v1/chat/completions`インターフェースを介して、ホスト型モデル、Bring Your Own Key（BYOK）サービス、ローカル推論を利用できる。ホスト版はAnthropic Messages APIにも対応する。ゲートウェイでは、ユーザー、エージェント、ツールごとに個別のキーを発行し、モデルの許可リストや日次・月次予算を設定でき、上限に達した時点でリクエストを即座に停止できる。

技術面で特に差別化されているのは、本番環境のトラジェクトリからルーティング戦略を構築する点だ。システムはOpenTelemetry JSONLを読み込み、代表的なタスクに対する複数モデルの結果をリプレイしたうえで、品質、レイテンシ、価格に基づいてルーターをフィッティングする。公開されているcoding-routerは、LoRAでファインチューニングしたQwen3-Embedding-0.6Bを使用し、新しいタスクを実測結果を収めたevidence bankと照合する。入力がデータベースから大きく乖離している場合は、分布外（Out-of-Distribution）としてマークし、安価なモデルを危険を承知で選択するのではなく、最も高性能なモデルへフォールバックする。

チームは、フィッティングに使用していないテストにおいて、短いインタラクションとLiveCodeBenchではコストを83%、DeepSWEのような長時間タスクでは74%削減でき、品質差は統計的ノイズの範囲内だったと主張している。ただし、これらの結果はまだ第三者によって再現されておらず、evidence bank、モデル価格、プロバイダーの挙動も継続的に変化する。エンジニアリングチームはさらに、匿名のPostHogテレメトリがデフォルトで有効になっていること、プロバイダーキーの集中管理によって生じる攻撃対象領域、そしてOpenAI互換インターフェースがストリーミング、ツール呼び出し、エラーコード、推論パラメーターのセマンティクスを完全に維持しているかにも注意する必要がある。