返回首頁

GitHub Repo

Ollama 社群回報雙模型載入崩潰,Qwen3-VL 圖像編碼階段出現 GPU 配置錯誤

10 月 6 日的社群案例指出,另一個大型模型已占用雙 GPU 時,Qwen3-VL 圖像請求可能讓推論程序連續崩潰。回報附有核心傾印堆疊,但顯存壓力與空指標的因果關係仍待維護者確認。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 社群於 10 月 6 日提交一項多模型推論故障:在另一個大型模型已載入的情況下,qwen3-vl:8b 處理圖像時,底層 llama-server 約在 45 秒內連續崩潰三次,第四次啟動才成功完成同一請求。截至查核時,議題仍開放,未列出關聯修補。原始回報

案例使用 Ollama 0.33.3、Arch Linux 與兩張各有 24 GB 顯存的 RTX 3090。先載入的 27B 模型分別占用約 12 GB、16 GB 顯存;接著帶圖像的 Qwen3-VL 請求啟動第二個推論程序。兩次失敗記錄為讀取位址零的分段錯誤,另一次則明確出現 CUDA 資源配置失敗。堆疊經過 clip_encode,最後落在 ggml_gallocr_alloc_graph,將調查範圍指向圖像編碼計算圖的配置階段。錯誤紀錄與堆疊

回報者推測,顯存壓力可能使緩衝區配置失敗,後續程式再解參考空指標;但作者沒有反組譯故障指令,這仍是待驗證假說。相同請求重啟後成功,也不足以证明根因或排除其他執行環境因素。目前證據來自單一環境,不能推廣為所有 Qwen3-VL 部署都會觸發的缺陷。案例限制

技術上值得追蹤的是,多模型排程能否涵蓋圖像編碼期間的資源需求。Ollama 官方文件說明,記憶體不足以載入新模型時,請求應排隊,並等待既有模型卸載;GPU 同時載入模型也須符合可用顯存條件。這份文件提供預期行為的對照,但並未確認本案違反排程規則或指出缺陷位置。官方並行處理說明

對部署文字與視覺模型的工程師而言,可優先比較單模型與雙模型情境,保留圖像尺寸、上下文設定及逐卡顯存紀錄;也可用 OLLAMA_MAX_LOADED_MODELS 限制同時載入數,作為隔離問題的實驗。這些是依案例提出的排查方向,尚非已驗證修復。下一步應關注維護者能否重現、配置失敗能否安全回傳錯誤,以及後續版本是否提供明確修補。設定文件

來源

  1. Qwen3-VL 圖像編碼時 llama-server 崩潰:Ollama issue #18821
  2. Ollama FAQ:並行請求、多 GPU 載入與模型常駐設定