ホームへ戻る

多模態模型

Gemini Omni 1.1 Flash、10秒のコンテキストを基に動画を延長し、開始・終了フレーム制御にも対応

GoogleはGemini Omni 1.1 Flashを安定版APIとして提供開始した。シーン延長では直前の最大10秒間を参照でき、セグメント単位で最長40秒の動画を生成できる。新バージョンは開始・終了キーフレーム、360pドラフト、4K出力にも対応するが、公開されている品質データは依然としてGoogle独自の評価が中心だ。

Gciriani · CC BY-SA 4.0 · Image source
zh-Hant

Googleは、動画生成と対話型編集を単一のInteractions APIに統合した安定版`gemini-omni-1.1-flash`をリリースした。最も実質的な変更はシーン延長機能だ。前バージョンが主に元動画の最後の1秒間を参照していたのに対し、新バージョンは既存コンテンツを最大10秒間解析し、10秒単位で延長できる。累計動画時間の上限は40秒だ。アプリケーションは`previous_interaction_id`を渡すことで、毎回シーン全体を説明し直すことなく、以前の生成状態を引き継げる。これは、キャラクターの外見、カメラワーク、物語の連続性を保つうえで特に重要となる。

モデルは指定された最初と最後のフレームも受け付け、その間をつなぐ連続ショットを生成できる。周回撮影、ドリーイン/ドリーアウト、トランジション、ループ動画などに利用可能だ。APIの1回あたりの出力は3~10秒、24 FPSで、解像度は360p、720p、1080p、4Kに対応する。公式発表によると、360pドラフトのシステムスループットは720pより最大60%高速で、コストは約3分の1となる。複数のstoryboardバリエーションを先に生成し、選んだ結果をアップスケールする用途に適している。開発者は最長3秒の参照動画を追加し、その動きを取り入れたり、キャラクターの一貫性を維持したりすることもできる。旧`gemini-omni-flash-preview` endpointは9月30日に廃止される予定で、既存の統合は安定版のモデルIDへ移行する必要がある。

今回のアップデートの技術的価値は、生成動画を単発のpromptから、状態を保存でき、境界条件を指定できるワークフローへ移行させた点にある。製品側では、ドラフト、レビュー、延長、アップスケーリングを、それぞれ異なるコスト階層に分けられる。ただし、「production-ready」であることは、長時間にわたる一貫性の問題が解決されたことを意味しない。40秒のコンテンツも複数回の生成をつなぎ合わせたものであり、エラーがセグメントごとに蓄積する可能性がある。また、4Kはアップスケール出力であり、ネイティブの細部表現や物理的な正確性を証明するものではない。Googleによる比較は主に社内のpromptセットと人間による選好評価に基づいており、継ぎ目、キャラクタードリフト、音声同期、複数ターンでの再現性については、第三者による体系的な評価が依然として不足している。

出典

  1. Gemini Omni 1.1 Flash lets you build with more control
  2. Gemini Omni Flash model documentation
  3. Google AI Releases Gemini Omni 1.1 Flash