Ollama 社群回報 Vulkan 快取效能異常，特定 AMD 配置重複請求明顯變慢

Ollama 的 Vulkan 推論路徑出現一則值得本機部署團隊追蹤的效能回報。10 月 22 日建立的議題指出，Ollama 0.40.8 在 Ubuntu、Radeon RX 6600 XT 與 Mesa RADV 組合上，連續送出相同提示時，第二次請求的生成速度由每秒 78.50 個 token 降至 2.64 個。模型仍完整卸載至 GPU，程序也未崩潰；這是特定環境的測試結果，尚不能推廣至所有 AMD 裝置。來源：問題回報

回報者使用 qwen3:4b、4096 token 上下文與最多 64 個輸出 token，直接呼叫原生生成 API。將服務環境變數 LLAMA_ARG_CACHE_RAM 設為 0 並重啟後，連續三次請求皆維持約每秒 78 個 token。不過，此設定同時停用主機記憶體提示快取與閒置槽位快取，測試尚未分離兩者的影響，因此不能據此認定單一快取機制就是根因。來源：重現步驟與限制

對工程團隊而言，這提醒效能驗收應涵蓋模型常駐後的重複請求。Ollama 官方 API 分別提供模型載入、提示處理與生成耗時；依文件定義，可用 eval_count ÷ eval_duration × 10⁹ 計算每秒生成量，再搭配總耗時判讀。這能協助區分載入延遲、提示處理與解碼速度，避免只憑端到端等待時間判斷瓶頸。來源：生成 API 文件

目前也有相反證據：一名專案協作者在另一款 AMD RADV GPU、相同 Ollama 版本上測試，兩次請求速度均約每秒 78 個 token，未出現下降。官方文件另說明，Linux Vulkan 可使用不同驅動實作，也能指定 GPU。後續應追蹤相同硬體的獨立重現、快取機制的分離測試，以及正式修補；現階段關閉快取僅宜作為受影響環境的對照實驗。來源：協作者測試、硬體支援文件