Transformersのメインブランチでマルチモーダル候補の欠落を修正、バッチ生成の全結果を保持

Transformersのメインブランチには11月4日、ImageTextToTextPipelineとAnyToAnyPipelineで複数候補を生成する際、出力が気づかれないまま失われる問題に対処する修正 #50198 が取り込まれました。この変更は推論パイプラインの結果整理処理を対象としています。画像の説明や視覚的な質問への回答を複数生成するアプリケーションでは、実際に受け取った候補の数を確認してください。メインブランチの履歴

元の報告では、SmolVLM-256M-Instruct、Tesla T4、Transformersの開発版を使って問題を再現しました。num_return_sequences=2を設定すると、単一入力では候補が2つ返るはずが、実際には1つだけでした。2件の入力をバッチにすると、合計4つの候補が期待されるところ、実際に返されたのは2つでした。また、テンソル、新たに生成されたテキスト、全文という3種類の戻り値モードすべてで問題が起きたため、テキスト出力の設定を切り替えても回避できません。再現事例

原因は2段階に及んでいました。前方パスでバッチ内の候補次元が保持されず、パイプラインのイテレーターが結果を破棄する可能性がありました。さらに後処理では入力テキストの数に基づいて反復していたため、追加候補が切り捨てられていました。修正では、条件に合う場合に生成シーケンスを入力と候補の次元を含む構造に整形し、候補を元のプロンプトに正しく対応付けます。また、両パイプラインに回帰テストを追加しました。コード差分

エンジニアリング上のリスクは、下流の処理が通常どおり実行されているように見えても、回答の一部しか得られない可能性があることです。複数候補の再ランキング、品質比較、評価に依存するシステムでは、候補の不足によって結果が変わり得ます。これは不具合の仕組みから推測される影響であり、どの程度広く発生するかを示す公開データはありません。公式ドキュメントによると、pipelineは前処理、モデル推論、後処理から構成され、バッチ入力をサポートしています。検証では、モデルの出力とパイプラインが最終的に返す値の両方を確認してください。公式ドキュメント

修正提案者が公開した小規模モデルでのテストは通過しましたが、すべてのマルチモーダルモデルでの動作を保証するものではありません。デプロイ担当チームは、まず正式版への収録状況を確認し、そのうえで自社モデルを使い、単一入力とバッチ入力で候補数、プロンプトとの対応関係、単一候補の場合の互換性を比較してください。メインブランチにはコミットされていますが、現在インストールされているパッケージにも修正が含まれているとは限りません。