返回首頁

推論系統

Gemini 可按需載入工具規格,搜尋成本決定是否划算

大型工具庫可先讓模型讀取工具用途,需要時才載入參數;但伺服器端模式仍須重送完整宣告,每次搜尋也會增加計費輸入。

Asoundd · CC BY-SA 4.0 · Image source
zh-Hant

代理接上數十、數百個工具後,開發者現在能讓 Gemini 先讀工具名稱與用途,需要時才載入完整參數規格。Google 在 11 月 19 日推出 Tool Retrieval 預覽,將工具搜尋、載入規格與產生函式呼叫納入 Interactions API 的同一次請求。對大型工具庫而言,具體改變是未使用的參數規格不必一開始就占用模型上下文。官方公告

延後的是模型讀取,宣告仍要傳送

參數規格描述工具接受哪些欄位、資料型別及必填條件。例如排會議工具可要求與會者、日期與時間,讓模型把自然語言要求轉成程式能執行的參數。函式呼叫指南

啟用伺服器端檢索時,開發者加入 tool_search,並在較少用的工具設定 defer_loading: true。模型先看工具名稱與用途摘要,選定後才載入完整規格。一般自訂函式仍由應用程式執行,再回傳結果;同一次請求完成的是搜尋與產生呼叫,不能直接解讀為外部操作已完成。遠端 MCP 伺服器也支援整批延後載入;MCP 是連接模型與外部工具的通訊協定。流程與範例

因此,「能否少傳工具規格」要分清楚:伺服器端模式減少模型初始讀取的內容,但應用程式每次請求仍須附上完整工具宣告,連回傳執行結果的後續請求也一樣。工具檢索文件

沒有獨立檢索費,不代表搜尋免費

官方文件指出,未載入的參數規格暫不計費;不過,每次伺服器端搜尋會觸發額外模型呼叫,帶入完整上下文與已載入規格。這些輸入記在 total_tool_use_tokens,按輸入費率計價。已載入的工具也會留在對話上下文,無法卸載。計費與限制

Google 因此將大型工具庫、每次只使用少數工具列為較能節省 token 的情境;若工具很少,或長對話每輪都搜尋,預先載入全部規格反而可能較便宜。這是官方文件的成本判斷,並非本文實測結果。適用條件

公告主張這種設計可降低延遲與輸入成本,但沒有提供量化比較。開發者不能僅憑啟用功能,就預設帳單或等待時間會下降固定比例。官方公告

自建檢索多一次往返,換取動態工具選擇

若已有工具索引或依使用者權限篩選的流程,也可選客戶端檢索:由應用程式搜尋,再回傳符合的工具規格,無須預先宣告所有工具。代價是每次搜尋多一次 API 往返。客戶端模式

目前 Tool Retrieval 仍為預覽,要求 v1beta,介面可能在正式推出前變動,且 generateContent 不支援。功能狀態 Interactions API 本身則已正式推出,Google 建議新專案使用;既有 generateContent 仍受支援。介面總覽

對準備導入的團隊,決策重點是工具規格有多大、每輪實際用到多少,以及搜尋時上下文已累積多長。這些條件決定省下的規格輸入,能否抵過新增的搜尋成本。

來源

  1. Introducing Tool Retrieval in the Gemini API
  2. Tool retrieval
  3. Function calling with the Gemini API
  4. Interactions API