2,190本の制御動画が明らかにしたVLMのカウント限界：サンプリングフレームを増やしてもイベント軌跡の正確性は保証されない

動画言語モデルが「何回発生したか」に正答しても、それらのイベントを実際に検出できていたとは限らない。8月6日に公開された[Low-Frequency Trap研究](https://arxiv.org/abs/2608.06361)では、プログラムで生成した2,190本の動画を用いて、制御可能な能力曲面を構築した。球体の壁への衝突、短時間の点滅、継続表示という3種類の状態遷移をそれぞれテストしている。研究者らはイベント数と頻度を独立に調整し、各動画について実行可能な正解時間軌跡を保存した。これにより、モデルが報告したtimestampをイベントごとに照合でき、最終的な整数の回答だけを比較せずに済む。

正答率80%を信頼性の境界とした場合、Gemini 3.6 Flashは継続的な状態遷移について、0.5 Hzおよび1 Hzで最大12回までカウントできた。一方、短時間の点滅では、正のイベント数において連続した信頼可能領域が一つも形成されなかった。3種類のタスク全体で、完全一致のカウント正答率はわずか21.1%、時間軌跡のF1は36.4%だった。点滅タスクでは、それぞれ6.4%と18.6%まで低下した。イベント数と頻度が同時に上昇すると、最終カウントの正答率はわずか0.2%となり、モデルが報告したイベント数は実際の約28%、timestamp recallは18.1%にとどまった。このときの主な問題は、存在しないイベントを大量に追加することではなく、イベントの見落としや複数イベントの統合だった。

サンプリング密度を高めると、壁への衝突のカウント精度は19.6%から29.3%に改善したが、報告されたシーケンスが正解軌跡と完全に一致した割合は依然として3.7%にすぎなかった。プロンプトや推論フォーマットを変更しても、信頼可能範囲は安定して拡大しなかった。この点はAPI利用者に直接影響する。[Googleの動画理解ドキュメント](https://ai.google.dev/gemini-api/docs/video-understanding)によると、File APIではデフォルトで毎秒1フレームのみが保存されるため、高速な動きでは詳細が失われる可能性がある。単純にフレーム数を増やすと、token数、レイテンシ、コストは増加するが、イベントの累積や時間情報の保持能力が改善するとは限らない。

監視、スポーツ分析、産業検査のシステムでは、次の段階としてイベントのtimestamp、順序、見逃し率を受け入れ基準に組み込み、実際のイベント頻度に応じた運用境界を設定すべきである。今回の結果が測定しているのは、モデルと入力パイプラインを合わせたシステム全体である。また、制御されたシーンでは実際の動画に含まれる遮蔽や圧縮を網羅できないため、すべての動画モデルに共通する性能上限と解釈することはできない。