ホームへ戻る

推論系統

Gemini、ツール仕様を必要に応じて読み込み 検索コスト次第で費用対効果

大規模なツールライブラリでは、モデルにまずツールの用途を読み込ませ、必要なときにパラメータを読み込ませられる。ただし、サーバー側モードでは完全な宣言を毎回再送する必要があり、検索のたびに課金対象の入力が増える。

Asoundd · CC BY-SA 4.0 · Image source
zh-Hant

エージェントが数十から数百のツールに接続されている場合、Geminiにまずツール名と用途を読み込ませ、必要に応じて完全なパラメータ仕様を読み込ませる方法が使えるようになった。Googleは11月19日、ツールの検索、仕様の読み込み、関数呼び出しの生成を、Interactions APIの同一リクエストにまとめるTool Retrievalのプレビューを公開した。大規模なツールライブラリでは、具体的には、使わないツールのパラメータ仕様を最初からモデルのコンテキストに含めずに済む。公式発表

モデルによる読み込みは後回しにできるが、宣言の送信は必要

パラメータ仕様は、ツールが受け付けるフィールド、データ型、必須条件を記述する。たとえば、会議を設定するツールでは参加者、日付、時刻を必須にし、自然言語の依頼をモデルが実行可能なパラメータに変換できるようにする。関数呼び出しガイド

サーバー側の検索を有効にするには、開発者がtool_searchを追加し、使用頻度の低いツールにdefer_loading: trueを設定する。モデルはまずツール名と用途の概要を参照し、ツールを選んだ後で完全な仕様を読み込む。通常のカスタム関数は引き続きアプリケーションが実行し、その結果を返す。同一リクエストで完了するのは検索と呼び出しの生成であり、外部操作そのものが完了したことを意味するわけではない。リモートのMCPサーバーも、ツール一式の遅延読み込みに対応する。MCPは、モデルと外部ツールを接続する通信プロトコルだ。処理の流れと例

したがって、「ツール仕様の送信量を減らせるか」は切り分けて考える必要がある。サーバー側モードではモデルが最初に読み込む内容を減らせるが、アプリケーションはリクエストごとに完全なツール宣言を添付しなければならない。実行結果を返す後続リクエストでも同様だ。Tool Retrievalのドキュメント

独立した検索料金がなくても、検索が無料とは限らない

公式ドキュメントによると、読み込まれていないパラメータ仕様は、その時点では課金対象にならない。ただし、サーバー側の検索を行うたびに追加のモデル呼び出しが発生し、完全なコンテキストと読み込み済みの仕様が入力される。これらの入力はtotal_tool_use_tokensに計上され、入力料金で課金される。読み込み済みのツールは会話コンテキストに残り、後から読み込みを解除できない。料金と制限

そのためGoogleは、大規模なツールライブラリの中から各回で少数のツールだけを使うケースを、トークンを節約しやすい場面として挙げている。ツールが少ない場合や、長い会話で毎回検索する場合は、すべての仕様を事前に読み込んだほうが安くなる可能性がある。これは公式ドキュメントに示されたコスト上の判断であり、この記事での実測結果ではない。適用条件

発表では、この設計によってレイテンシと入力コストを削減できるとしているが、定量的な比較は示されていない。機能を有効にしただけで、請求額や待ち時間が一定の割合で減ると見込むことはできない。公式発表

独自検索は追加の往復が必要だが、ツールを動的に選べる

すでにツールのインデックスや、ユーザー権限に基づいてツールを絞り込む仕組みがある場合は、クライアント側の検索も選べる。アプリケーションが検索し、該当するツール仕様を返す方式で、すべてのツールを事前に宣言する必要はない。その代わり、検索のたびにAPIとの往復が1回増える。クライアント側モード

Tool Retrievalは現在プレビュー段階で、v1betaが必要だ。正式公開前にインターフェースが変更される可能性があり、generateContentには対応していない。機能のステータス Interactions API自体はすでに正式公開されており、Googleは新規プロジェクトでの利用を推奨している。既存のgenerateContentも引き続きサポートされる。インターフェースの概要

導入を検討するチームが判断すべきなのは、ツール仕様の規模、各ターンで実際に使うツールの数、検索時点で会話にどれほどのコンテキストが蓄積しているかだ。こうした条件によって、仕様の入力を減らして得られる節約が、検索による追加コストを上回るかどうかが決まる。

出典

  1. Introducing Tool Retrieval in the Gemini API
  2. Tool retrieval
  3. Function calling with the Gemini API
  4. Interactions API