Gemini、長時間動画の理解をツールループ化し、質問に応じてセグメントとサンプリングレートを動的に選択

GoogleはGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteでエージェント型動画理解の提供を開始し、動画入力を一度限りの固定サンプリングから、モデルが制御するツールループへと変更した。従来の静的モードでは、デフォルトで毎秒1フレームの映像を抽出し、音声とともにコンテキストへ格納していた。新しいモードでは、モデルが質問に応じてタイムラインを検索し、文字起こし、音声、特定の映像フレームのどれを読み込むかを選択できる。さらに、高速な動きについてはフレームレートと解像度を引き上げて再取得することも可能だ。

開発者はGemini Interactions APIの動画コンテンツで`processing`を`agentic`に設定できる。レスポンスの`steps`には`processing_call`と`processing_result`が含まれ、それぞれセグメントの読み込みリクエストとその結果を記録する。これは単なる内部最適化ではない。ステートレスなマルチターンワークフローでは、アプリケーションがこれらのステップを以前のレスポンスとともに送り返さなければ、動画のコンテキストが失われる。関連する内容は、後続リクエストの入力tokenにも算入される。推論中に生成されるナビゲーション用tokenはthought tokens、読み込まれたメディアはtool-use tokensとして計上されるため、コスト追跡システムでは両者を分けて監視する必要がある。

Googleによると、長時間動画のテストではtoken数を最大88%、分析コストを66%削減し、品質は最大で約7%向上した。想定されるユースケースには、数時間に及ぶ動画の検索、異常検知、動作のカウント、1秒未満のイベントの特定などがある。この機能には標準のAPI token料金が適用され、アップロード済み動画と公開YouTube URLの両方に対応している。

エンジニアリング上のトレードオフとして、エージェントループは最初に計画を立ててツールを呼び出すため、5分未満の動画ではTime to First Tokenが長くなる可能性がある。また、全フレームを完全に網羅する必要がある監査業務にも、選択的な読み込みは適さない場合がある。公式に公表されているのは「最大」の改善値とLongVideoBenchの一部デモに限られ、モデル別、動画の長さ別、クエリ種別の詳細な内訳はまだ示されていない。導入前には、実際の動画分布を使って静的モードとエージェントモードを比較し、再現率、レイテンシ、tokenの内訳、重要なセグメントを見落とすリスクを検証すべきだ。