返回首頁

GitHub Repo

Dify 提出工作流代理影像傳遞修補,補上視覺模型的多模態輸入

Dify 社群於 11 月 6 日提出修補,處理工作流代理只收到上傳圖片的文字參照、未取得影像內容的問題。提案已加入回歸測試,但尚未合併,真實儲存服務與模型供應商的端到端驗證仍待完成。

The original uploader was Ggia at Greek Wikipedia. · CC BY-SA 2.5 · Image source
zh-Hant

Dify 社群於 11 月 6 日提出 PR #45745,並於 11 月 7 日追加測試,修補工作流代理的影像輸入管線:當使用者上傳圖片、所選模型也支援視覺時,代理仍可能只收到檔案文字參照。提案會轉換圖片內容,透過執行環境已註冊的多模態 user_prompt 層送入模型。截至查核時,PR 仍開放審查,尚非正式版本修復。修補提案

原始問題回報來自基於 1.18.0 的自架部署。回報者指出,agent_v2 將 sys.files 序列化進工作流提示文字,沒有建立多模態影像內容;共享客戶端的工作流輸入結構也缺少 user_files,原本使用的純文字提示層無法承接圖片。因此,只在上游加入圖片轉換,仍不足以讓影像抵達模型,必須一併接通後端請求結構與提示層。問題與根因分析

這項差異直接影響代理處理截圖與圖表的方式。官方文件說明,新版 Agent 節點具備自己的能力與沙箱,能在工作流內自主完成任務;但檔案可供沙箱讀取,與圖片直接進入視覺模型,是不同的輸入路徑。依問題回報,代理曾繞道下載圖片、安裝 OCR 工具辨識。工程上的含意是:診斷「模型看不到圖」時,應檢查送往模型的內容,而非只確認上傳成功或視覺能力設定。Agent 節點文件、使用者回報

作者表示,圖片與 PDF 混合上傳的回歸測試,在舊實作下會因未轉換圖片而失敗,套用變更後通過;另有執行環境測試確認 BinaryContent,並檢查純文字、圖片、再回到純文字的工作階段快照轉換。不過,部分測試替代了檔案轉換與模型能力判斷,尚未在真實檔案儲存及模型供應商上完成端到端執行。採用團隊接下來應追蹤合併與版本收錄,並驗證混合附件及多輪切換是否正確傳遞影像。驗證範圍

來源

  1. fix: send workflow agent uploads to vision models — PR #45745
  2. Workflow/Chatflow Agent node does not send uploaded images to the model — Issue #45434
  3. Agent — Dify Docs