ホームへ戻る

GitHub Repo

Transformers、マルチモーダル設定の再利用による後続リクエストへの影響を防ぐ修正を提案

Transformersコミュニティは11月15日、2種類のマルチモーダルpipelineが呼び出し元から渡された生成設定を変更し、後続リクエストでエラーが発生したり、古いパラメーターが引き継がれたりする問題を報告した。修正案が提出され、別の貢献者から検証結果も報告されたが、まだマージされていない。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Transformersコミュニティは11月15日、ImageTextToTextPipelineとAnyToAnyPipelineがパラメーターを整理する際、呼び出し元から渡されたgenerate_kwargs辞書を直接変更すると報告した。アプリケーションが同じ設定を複数のリクエストで再利用すると、前回の呼び出しで追加されたパラメーターが、次の推論に影響する可能性がある。報告時の環境は5.24.0.dev0で、公開モデルを使った再現手順も添えられている。問題報告

具体的には、まずdo_sample=Falseだけを含む辞書を渡し、呼び出し時にmax_new_tokens=2を指定すると、pipelineが長さ制限を元の辞書に書き戻す。その辞書を再利用して別の長さを指定すると、パラメーターが重複して例外が発生する。報告者はNVIDIA T4上でSmolVLM-256Mを使ってこの状況を再現した。一方、停止文字列の残留と生成モダリティの取り違えについては、パラメーター整理層での検証にとどまり、モデル出力全体を対象とするテストと同等ではない。再現手順の詳細

この種の問題は、サービスのラッパーや評価の再現性に影響する。公式ドキュメントではpipelineを、前処理、モデル推論、後処理を統合するインターフェースと定義し、生成モダリティに応じてテキスト、音声、画像を返す動作を説明している。この説明から、生成側で古いモダリティが保持され、後処理側では新しい設定が使われると、両段階の整合性が損なわれる可能性があると推測できる。エンジニアがリクエスト順序による差異を、モデルの不安定さと誤解するおそれもある。公式インターフェースのドキュメント

同日に提出された修正案では、設定辞書を先に複製してから、各リクエストのパラメーターを追加する。既存の重複パラメーター検査も維持されている。提出者は6件の回帰テストが通過したと報告した。11月16日には別の貢献者が、5.23.0で2つのpipelineファイルを置き換えたところ、パラメーター層での再現ケースが期待どおりの動作に戻ったと報告した。これは追加の裏付けとなるが、あくまでコミュニティによるテストであり、確認時点ではマージも正式リリースへの修正取り込みも確認されていない。修正案と検証結果

現在の再現結果を踏まえると、デプロイ環境では呼び出しごとに新しい設定辞書を使い、連続したリクエストの後に停止文字列やモダリティ設定が残っていないか確認できる。今後はメンテナーによるレビュー、修正のバージョンへの取り込み、各種出力モダリティを対象とするモデル全体のテストを追跡する必要がある。現時点の証拠から、すべてのマルチモーダルモデルが影響を受けるとは推定できない。

出典

  1. Multimodal pipelines mutate generate_kwargs, leaking generation settings across requests
  2. fix(pipelines): avoid mutating multimodal generation kwargs
  3. Transformers Pipelines 官方文件