返回首頁

GitHub Repo

Ollama 預覽版修正 Vulkan 內顯載入策略,降低共享記憶體配置失敗風險

Ollama 於 11 月 10 日合併修補,讓 Vulkan 整合式 GPU 改用 mmap 載入模型,並納入 v0.40.17-rc0。變更針對共享記憶體重複占用造成的載入失敗,實際硬體相容性仍待驗證。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 於 11 月 10 日合併 Vulkan 整合式 GPU 的模型載入修補,並將它納入當晚發布的 v0.40.17-rc0 預覽版。這項更新處理的是模型啟動時的記憶體配置問題,對使用 AMD、Intel 內顯執行本地模型的開發者具有直接意義。預覽版發布紀錄

維護者指出,未使用 mmap 的載入方式會把留在 CPU 端的張量放進 Vulkan 主機緩衝區,而該緩衝區與模型權重共用裝置記憶體預算。在共享系統記憶體的內顯上,這可能讓占用量接近翻倍,進而出現鎖頁記憶體配置失敗,或 Windows AMD 環境中的例外代碼。直接輸入輸出也無法避開這個緩衝區,因此 Vulkan 需要獨立的載入策略。維護者說明

程式碼現在遇到標記為整合式的 Vulkan 裝置,就向底層 llama-server 傳入 --load-mode mmap;Linux 上的整合式 CUDA、ROCm 裝置則繼續使用直接輸入輸出。新增測試也明確檢查,獨立 Vulkan 顯示卡不套用這條規則,而內顯路徑會優先採用 mmap,即使用戶選項停用了它。修補差異與測試

相關舊回報顯示,Radeon 780M 在相同硬體與模型下,升級後可能無法啟動較大模型,小模型卻仍正常。這說明載入失敗不能只依模型檔案大小或系統剩餘 RAM 判斷,後端的配置方式也會影響可用容量;修補目前已關聯關閉該回報。問題紀錄

官方文件確認 Vulkan 涵蓋 Windows 與 Linux,並提供指定 GPU 或停用後端的設定。工程團隊測試預覽版時,應固定模型、上下文長度與驅動版本,比較載入是否成功及記憶體峰值;目前公開證據尚不足以推論所有內顯都已恢復,也沒有可概括的生成速度提升數據。硬體支援文件

來源

  1. Ollama v0.40.17-rc0 發布紀錄
  2. llm: use mmap for Vulkan integrated GPUs
  3. Vulkan 載入策略修補與測試差異
  4. AMD Radeon 780M Vulkan regression in Ollama >=0.32.10
  5. Hardware support