動画モデル、高頻度・多イベント領域で正答率わずか0.2％――サンプリングフレームを増やしてもイベントの根拠は復元できず

動画言語モデルは総合ベンチマークで低くないスコアを記録していても、反復イベントを確実に記録できるとは限らない。メリーランド大学の研究チームはLow Frequency Trapを拡張し、各24秒の合成動画2,190本からなるデータセットを構築した。動画には、ボールの壁への衝突、短時間の点滅、持続的な状態遷移がそれぞれ描かれている。イベント数は0～12回、頻度は0.5～4 Hzに設定された。レンダラーはイベントの発生時刻、前後の状態、累積回数も同時に出力するため、研究者は最終回答だけでなく、モデルが列挙した各イベントを照合できる。

Gemini 3.6 Flashは、信頼度80％のしきい値において、0.5 Hzおよび1 Hzでは最大12回の持続的な状態遷移を正しく処理できた。一方、短時間の点滅では、正のイベント数が最小の場合でさえ信頼できる領域を形成できなかった。イベント数と頻度が同時に高くなると、最終的な計数精度は0.2％まで低下し、実イベントのRecallは18.1％となった。追加テストを行ったQwen3‑VL‑235Bも、成績がイベント数と頻度の低い領域に集中する傾向を示した。ただし、両モデルではネイティブインターフェースとサンプリングレートが異なるため、グラフから性能の優劣を直接比較することはできない。

エンジニアリングチームにとってさらに注目すべき点は、ボール衝突動画の入力をネイティブ設定から4 FPSへ引き上げると、最終回答のAccuracyが19.6％から29.3％へ向上した一方、モデルが報告したイベント系列とGround TruthとのアラインメントF1はわずか3.7％だったことだ。イベントを中心にキーフレームを選択すると、回答のAccuracyを68.6％まで高められたが、対応する軌跡のF1は依然として9.7％にとどまった。これは、視覚的証拠を増やすことでモデルが総数を当てられる場合があっても、実際に正しいイベントを特定したとは限らないことを示している。

動画検索、監視、プロセス監査システムでは、導入時のテストでイベントのタイムスタンプ、Recall、および「回答は正しいが証拠に忠実ではない」ケースの比率を同時に記録すべきだ。現時点の研究は主に3種類の単純化されたアニメーションと、主要モデルとして単一のGeminiに依存しており、オクルージョン、カメラモーション、不規則なイベント間隔の影響はまだ切り分けられていない。また、新版は初期のワークショップ研究を大幅に拡張したものであり、まったく新しい研究テーマではない。