Gemini Omni 1.1 Flash、10秒間のコンテキストを利用して動画を延長、4K出力は実際にはアップスケーリング

Googleは8月27日、`gemini-omni-1.1-flash`をリリースし、これまでプレビュー版として提供していた対話型の動画生成・編集インターフェースを正式版へ移行した。このモデルはInteractions APIを介してテキスト、画像、または最長10秒の動画を受け取り、3〜10秒、24 FPSの音声付き動画を出力する。開発者は`previous_interaction_id`を使って前回の生成結果を引き継げるほか、`text_to_video`、`edit`、`extend`などのタスクを明示的に指定できる。

実装上、最も重要な変更は、動画を延長する際に入力動画の最後の1秒だけでなく、末尾10秒間の映像、動き、キャラクター、音声を参照するようになった点だ。1回につき10秒延長でき、累計の上限は40秒。継ぎ目を滑らかにするため、システムが入力末尾の数フレームを変更する場合もある。このため、元フレームのハッシュ、タイムコード、またはフレーム単位の承認に依存するメディアパイプラインでは、延長後の結果を単純な追加コンテンツとして扱うことはできない。

もう一つの新しいインターフェースでは、開始フレームと終了フレームを入力し、その間のカメラワークをモデルに生成させられる。トラッキングショット、周回ショット、ループするトランジションなどに適している。解像度パラメーターは360p、720p、1080p、4Kに対応。Googleによると、360pのドラフトはデフォルトの720pと比べてシステムスループットが最大60%向上し、コストは約3分の1になるため、プロダクト側ではまず構図を一括で探索し、その後に完成版を選別できる。ただし、APIドキュメントには1080pと4Kがアップスケーリング出力であることが明記されており、モデルが同等のディテールをネイティブ生成していると解釈すべきではない。

正式版への移行に伴い、移行期限のカウントダウンも始まった。`gemini-omni-flash-preview`は9月30日に提供終了予定で、アプリケーション側ではモデル名を更新し、プロンプト、出力サイズ、コンテンツ安全性に関するワークフローを回帰テストする必要がある。公式モデルカードも、複雑な動き、編集後の長期的一貫性、正確なテキストレンダリングが依然として弱点であると認めている。現時点での品質に関する主張は主にGoogle社内の人間による選好評価に基づいており、延長に伴うドリフトや音声と映像の同期について、公開され再現可能なベンチマークはまだ不足している。