Transformersのメインブランチに動画データの検証を追加、バッチ入力の暗黙的な切り捨てを防止

Transformersのメインブランチのコミット履歴には、11月4日付で動画の前処理に関する修正 #50060が記録されています。コミットIDは f275431 です。この変更は、動画とメタデータの件数が一致しない問題と、フレームのタイムスタンプを必要とするプロセッサに return_metadata=False が渡される問題という、2つの入力検証上の問題に対処します。提案は10月28日に初めて公開されており、今回のニュースは修正がメインブランチのコミット履歴に現れたことです。メインブランチの履歴

1つ目の問題は、動画と video_metadata を zip で対応付ける処理に起因します。メタデータのリストが動画のリストより短い場合、対応付けは短い方のリストの終端で止まり、後続の動画がそのままスキップされる可能性があります。今回の修正では長さをチェックし、件数が異なる場合は、各動画に1件のデータが必要であることを示す ValueError を送出します。この仕組みから、動画を3本渡してデータが2件しかないカスタムパイプラインでは、入力の不足を早い段階で検出できると考えられます。修正提案とコード

もう1つの変更は、Qwen3-VLなど、フレームのタイムスタンプを利用するプロセッサに関するものです。提案では、メタデータが明示的に無効化された場合に、後からタイムスタンプの欠落による KeyError が発生するのを避け、内容のわかりやすいエラーメッセージを返すようにしています。これは、すべての動画モデルでメタデータの返却が必須になるという意味ではありません。制約は、該当するフィールドをプロセッサが必要とするかどうかによって異なります。Qwen3-VLの公式ドキュメントでは、動画理解においてテキストのタイムスタンプと整合させる方式が説明されており、時間情報が入力の意味の一部を成しています。Qwen3-VLのドキュメント

動画を独自にデコードし、その配列をモデルに渡すチームにとって、このチェックは特に有用です。公式ドキュメントによると、デコード済みの動画でも、モデルの方針に沿ってフレームを抽出する必要がある場合は、元のフレームレートや動画の長さなどのメタデータを指定します。パスやURLを直接渡す場合は、プロセッサがデコードできます。エンジニアはまず、バッチ内の件数とデータの順序を確認し、新たな検証エラーを上位レイヤーのエラー処理で捕捉できることを確かめるとよいでしょう。動画プロセッサのドキュメント

現時点で確認できるのはメインブランチの履歴であり、通常のパッケージ更新にこの修正が含まれているとは断定できません。今後は正式版のリリースタグを追い、実際に使用するプロセッサで複数動画の入力とタイムスタンプの設定を検証する必要があります。また、公開情報には、この修正による性能や精度の比較は示されていません。