Ollama 社群回報 ROCm 圖初始化耗盡記憶體，部分卸載至 CPU 仍可能崩潰

Ollama 於 10 月 15 日收到一項 ROCm 推論故障回報：使用者以 12GB Radeon RX 6750 XT、Ollama 0.40.3 執行 gemma4:26b-a4b-it-qat，即使記憶體適配機制已將部分運算卸載至 CPU，仍在後續請求的 hipGraphInstantiate 階段出現記憶體不足，導致推論程序中止。這是具體環境的社群案例，尚不能推廣為所有 AMD 部署的共同問題。公開議題

這項故障值得關注，在於模型成功載入與最初請求成功，仍不足以證明服務能持續穩定執行。回報附帶的配置紀錄顯示，適配後尚餘約 2.2GB 顯示記憶體；首次故障後，再次載入模型則於提示處理後發生分段錯誤。降低批次參數也未能避開問題。回報者因此懷疑圖初始化所需的額外空間未被充分預留，但這仍是待驗證的解釋。故障紀錄與配置

AMD 文件說明，HIP 圖會先定義運算與相依關係，再透過 hipGraphInstantiate() 建立可執行實例，讓後續重複執行減少核心啟動與排程成本。圖機制包含初始化與資源管理步驟，因此工程上應分別觀察權重載入、首次生成與持續執行的資源需求；僅憑載入後的剩餘容量，無法判定所有執行階段都安全。這是依文件與案例提出的部署判讀，並非已確認的根因。AMD HIP 圖文件

回報者在服務設定 GGML_CUDA_DISABLE_GRAPHS=1 後，表示約七千 tokens 的長提示測試及實際提示執行未再崩潰。不過，其未測得降速的敘述來自另一款可完整放入顯示卡的 12B 模型，不能據此推論受影響模型停用圖後也沒有成本。該環境另使用 GPU 架構覆寫設定；後續應留意獨立重現、圖初始化尖峰用量，以及維護者是否加入預留空間或失敗後退回一般執行的機制。目前議題仍開放，未列出修補分支。暫行處理與議題狀態