GitHub Repo
Transformers、画像のみ・音声のみの入力が拒否される問題へのマルチモーダルパイプライン修正を提案
11月17日のTransformersコミュニティからの報告によると、AnyToAnyPipelineはテキストを必須としており、基盤プロセッサーが本来サポートするメディアのみの推論を妨げていた。同日提出された修正案には複数モデルでのテストが含まれるが、まだマージされておらず、正式リリースへの影響範囲は確認されていない。
Transformersのマルチモーダル統合インターフェースで、入力検証の不備が明らかになった。貢献者は11月17日、開発版5.24.0.dev0でAnyToAnyPipelineを使用した場合、基盤プロセッサーが画像のみ、または音声のみの入力を受け付けられても、上位のパイプラインがテキストの欠如を理由にリクエストを拒否することがあると報告し、同日に修正案を提出した。問題報告
再現例では、Gemma3nの小型チェックポイントを使ってパイプラインを作成している。imagesだけを渡すと、text引数がないことを示す型エラーが発生する。text=Noneと音声を渡した場合は、テキストまたは画像を要求する検証で拒否される。音声の辞書形式の入力も、テキストキーが見つからず失敗する。報告者は原因を、呼び出しシグネチャ、メディア検証、前処理、空のプロンプトに対する後処理の4点に特定した。再現コードと分析
公式ドキュメントによると、このパイプラインはモデルと複合プロセッサーを組み合わせ、画像、動画、音声、テキストの各パラメーターを提供する。ただし、現在掲載されている呼び出しシグネチャでは、テキストが必須になっている。インターフェース設計の観点では、こうした制約により、アプリケーション側でモデルの能力とラッパー層の制約を区別しにくくなる。メディア入力の失敗を調査する際は、プロセッサーとパイプラインの両方の経路を個別に確認する必要がある。公式APIドキュメント
修正案ではテキスト入力を任意とし、メディアのチェックを拡張したうえで、空のプロンプトも処理できるようにしている。報告者によると、Gemma3、Gemma3n、Gemma4、GOT-OCR2、Pix2Struct、BLIPの小型チェックポイントを用いた7種類のメディア生成テストを完了し、新たに追加した6件の回帰テストも失敗から成功に転じた。これらの結果が検証するのは、インターフェースが生成処理を完了できるかどうかであり、完全なモデルの出力品質を示すものではない。修正案
確認時点で、修正案はまだオープンで、レビュー記録もない。導入チームはまずバージョンを固定して自社の入力形式を再現し、そのうえでマージとリリースの状況を追うべきだ。特に、テキスト、チャット、バッチリクエストとの互換性が保たれるか確認する必要がある。今回の根拠は開発版と提出者によるテストに限られており、すべての安定版やマルチモーダルモデルが影響を受けると結論づけるには不十分だ。修正案の状況