AI 開發工具
Experiential 公開代理模型閘道，依實際軌跡在成本與品質間自動路由
Experiential 把雲端、自帶金鑰及本機模型統一到 OpenAI 相容介面，並提供身分範圍、模型白名單與硬性預算控制。它還能用 OpenTelemetry 代理軌跡建立任務路由器，但節省成本的數字目前主要來自團隊自行評測。
Experiential Labs 於 8 月 28 日在 PyPI 發布 Experiential 0.7.2，並以 Apache 2.0 開放模型閘道。開發者可用 `pip install experiential` 啟動本機端點，讓 OpenAI SDK 經同一個 `/v1/chat/completions` 介面呼叫代管模型、自帶金鑰服務或本機推論；代管版另相容 Anthropic Messages API。閘道可替不同使用者、代理與工具發出獨立金鑰，設定模型白名單、每日或每月預算，並在額度到達時直接停止請求。
較有技術差異的部分是從生產軌跡建立路由策略。系統讀取 OpenTelemetry JSONL，重播不同模型在代表性任務上的結果，再按品質、延遲與價格擬合路由器。公開的 coding-router 使用經 LoRA 微調的 Qwen3-Embedding-0.6B，把新任務與包含實測結果的 evidence bank 比對；若輸入與資料庫差異過大，便標記為分布外並退回最強模型，而不是冒險選用便宜模型。
團隊在未參與擬合的測試上宣稱：短互動及 LiveCodeBench 成本可降 83%，DeepSWE 類長任務可降 74%，品質差距落在其統計雜訊內。不過這些結果尚無獨立重現，且 evidence bank、模型價格與供應商行為會持續變動。工程團隊還應留意匿名 PostHog 遙測預設開啟、供應商金鑰集中後的攻擊面，以及 OpenAI 相容介面是否完整保留串流、工具呼叫、錯誤碼和推理參數語義。