Dify、ワークフローエージェントの画像伝達を修正し、ビジョンモデルへのマルチモーダル入力に対応

Difyコミュニティは11月6日にPR #45745を提出し、11月7日にテストを追加して、ワークフローエージェントの画像入力パイプラインを修正した。ユーザーが画像をアップロードし、選択したモデルがビジョンに対応していても、エージェントにはファイルのテキスト参照しか届かない場合があった。提案された変更では画像内容を変換し、実行環境に登録されたマルチモーダルのuser_promptレイヤーを通じてモデルに渡す。確認時点でPRはレビュー中であり、正式リリースに含まれた修正ではない。修正提案

元の問題報告は、1.18.0をベースにしたセルフホスト環境から寄せられた。報告者によると、agent_v2はsys.filesをワークフローのプロンプトテキストにシリアライズしており、マルチモーダルな画像コンテンツを生成していなかった。また、共有クライアントのワークフロー入力構造にはuser_filesがなく、従来のテキスト専用プロンプトレイヤーでは画像を受け渡せなかった。そのため、上流で画像変換を追加するだけではモデルに画像を届けられず、バックエンドのリクエスト構造とプロンプトレイヤーも接続する必要があった。問題と根本原因の分析

この違いは、エージェントがスクリーンショットや図表を処理する方法に直接影響する。公式ドキュメントでは、新しいAgentノードは独自の機能とサンドボックスを備え、ワークフロー内でタスクを自律的に実行できると説明されている。しかし、ファイルをサンドボックスから読み取れることと、画像がビジョンモデルに直接渡されることは、異なる入力経路だ。問題報告によると、エージェントは画像を別途ダウンロードし、OCRツールをインストールして認識させていた。エンジニアリング上の示唆として、「モデルが画像を見られない」問題を診断するときは、アップロードの成功やビジョン機能の設定だけでなく、モデルに送信された内容を確認する必要がある。Agentノードのドキュメント、ユーザー報告

作者によると、画像とPDFを混在させてアップロードする回帰テストは、画像が変換されない旧実装では失敗し、変更適用後は通過した。また、実行環境のテストではBinaryContentを確認し、テキストから画像へ、さらにテキストへ戻るセッションスナップショットの変換も検証した。一方、一部のテストではファイル変換とモデル機能の判定をモックに置き換えており、実際のファイルストレージとモデルプロバイダーを使ったエンドツーエンド実行はまだ行われていない。導入を検討するチームは、マージとリリースへの収録を追跡し、混在する添付ファイルや複数ターンでの切り替え時に画像が正しく渡されるかを検証する必要がある。検証範囲