TransformersコミュニティがHunYuan-VLのバッチ生成不具合を報告、複数候補の系列に誤った画像が対応する可能性

Transformersコミュニティは10月11日、HunYuan-VLのマルチモーダル生成に関する不具合を報告しました。異なる画像とプロンプトを含む同一バッチで、各プロンプトに対して複数の候補系列を返すよう指定すると、生成処理で画像との対応関係が保たれない可能性があります。報告ではビームサーチとランダムサンプリングの両方で問題が確認されており、両方の方式に共通する入力展開の処理に原因がある可能性が示されています。公開報告

最小再現例では、テストスイートの小型モデルを使い、それぞれ画像を含む2つのプロンプトを用意しています。報告者はまず、貪欲デコードの最初のステップのlogitsを取得し、その後、2本のビームとランダムサンプリングで生成を実行します。各プロンプトから2系列を返させ、各候補の最初のステップのlogitsを比較したところ、どちらの方式でも最大差は約0.0967となり、報告者の予想するほぼゼロという値から外れました。生成されたトークンは1つだけなので、観察されたのは候補のサンプリング前のスコアの差であり、長い回答に伴うテキストの変化ではありません。再現コードと出力

報告者は、データ構造の契約に原因があると指摘しています。get_image_featuresはすべての画像を含む1つのテンソルを返しますが、生成処理の複製ロジックは画像ごとに1つのテンソルがあることを前提としています。そのため、バッチを展開した後、テキスト候補と視覚特徴の対応がずれる可能性があります。公式ドキュメントによると、ビームサーチは複数の候補系列を維持し、サンプリングは確率分布に基づいてトークンを選びます。また、生成前の前処理にはバッチ展開も含まれます。エンジニアリング上の推論として、マルチモーダルシステムではテキストと画像を同期して展開する必要があり、そうでなければデコード設定を変えたときにモデルへ与えられる条件が変わるおそれがあります。生成方式のドキュメント

この報告は、バッチでの画像キャプション生成、文書理解、複数の回答を生成してから再ランキングする処理の検証に役立ちます。エンジニアは、見分けやすい2枚の画像を使って単一入力とバッチ実行を比較し、候補が元の入力との対応を保っているか確認できます。最初のステップのlogitsを比較する方法も、回帰テストの候補になります。これは事例に基づく検証の提案であり、正式モデルの精度低下を定量化する公開データはありません。

現時点の証拠は、5.19.0.dev0の小型テストモデルに基づいており、別の参加者も再現できたと述べています。確認時点ではIssueは未解決で、報告者は修正を準備中としていますが、ページには修正PRへのリンクはありません。今後は、画像の枚数、2種類の生成方式、正式な重みで修正が有効かを確認する必要があります。現状の結果だけでは、すべてのHunYuan-VL導入環境に影響があるとは推定できません。議論と修正状況