返回首頁

AI coding tools

GitHub Copilot Auto 新增三段路由偏好,成本模式仍可能為複雜提示選用大型模型

Copilot Auto 現可在效率、平衡與智慧三個層級間調整成本、品質及延遲的權重,但三者共用同一模型池。實際費用仍由路由器選中的模型與 token 數決定,層級名稱不是價格上限或固定模型承諾。

Himesh23 · CC BY-SA 4.0 · Image source
zh-Hant

GitHub 9 月 14 日開始為 Copilot 的自動模型選擇加入「Efficiency、Balance、Intelligence」三種偏好,首批部署至 VS Code、Copilot CLI 與 GitHub Copilot app。這不是另建三組模型清單,而是在相同可用模型池上改變路由器對成本、品質及回應時間的權重;即使選擇 Intelligence,加入 docstring 等簡單提示仍可能被送往較小模型。

Auto 會結合提示的任務複雜度、即時模型健康狀態與可用性作決策,也會遵守方案、資料駐留、FedRAMP及企業管理員排除模型等限制。GitHub 表示路由發生於自然快取邊界,避免在工作階段中途換模型導致快取失效;使用者可在回應或終端輸出查看實際承接請求的模型。這讓團隊能以較高層級的意圖設定取代逐次挑選模型,但也把效能可重現性部分交給會隨供應情況改變的路由策略。

收費規則尤其需要分開理解:三個層級都按實際選中模型的輸入、輸出及快取 token 計費,付費方案使用 Auto 可獲九折,而不是把 Intelligence 固定在單一高價模型或替 Efficiency 設定硬性預算。不同模型的輸出單價與長上下文費率差距可達數十倍,因此 CI、批次代理與長程重構仍應記錄每回合模型、token及成本。

目前官方沒有公布三層的候選權重、品質基準、路由穩定性或成本分布,也未提供組織級硬上限。工程團隊下一步應觀察同一測試集在不同時段的模型選擇、快取命中率及尾端成本;對需要稽核或確定性重現的流程,明確鎖定模型仍比依賴 Auto 更容易追蹤。

來源

  1. Configure cost and quality in Copilot auto model selection
  2. About Copilot auto model selection
  3. Models and pricing for GitHub Copilot