返回首頁

本機推論/開發工具

Ollama 0.34 RC 將本機模型接入 ChatGPT Desktop,並補齊工具搜尋與回應壓縮相容性

Ollama 的 macOS 應用程式現在可把本機開放模型直接接入新版 ChatGPT Desktop。這仍是候選版本,且社群已回報切回雲端模型的介面問題,不宜直接大規模部署。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 於 9 月 5 日發布 0.34.0-rc1,主要變化不是新增模型,而是讓使用者從 macOS 版 Ollama 應用程式完成設定後,直接在新版 ChatGPT Desktop 中選用 Ollama 管理的本機模型。這使 ChatGPT 的 Chat、Work 與 Codex 桌面工作介面,開始可與本機推論後端形成更直接的組合;模型權重及推論可留在使用者電腦,不必為每次生成呼叫雲端模型 API。

整合背後仍需要協定層相容。這個 RC 同時加入 OpenAI 相容客戶端的工具搜尋與回應壓縮支援,並修正壓縮後回應中的圖片傳遞。對長週期代理而言,回應壓縮會在上下文增長時保留必要狀態;若本機伺服器未正確重建工具、圖片或訊息識別資訊,代理可能遺失觀察結果,甚至重複執行工具。新版亦改善 Apple Silicon 上的結構化輸出效能,這對依賴 JSON Schema 或工具參數驗證的流程比一般聊天更重要。

但「本機模型」不等於整套工作流程均離線。ChatGPT Desktop 的雲端同步、搜尋、外部工具及帳戶功能是否傳送資料,仍取決於實際模式與權限;工程團隊應分別追蹤模型推論、工具呼叫和對話儲存的資料路徑。官方發行頁也把 0.34.0 標為預發布版本,目前明示的設定入口限於 macOS。

此外,OpenAI 開發者社群已有單一使用者回報:啟用 Ollama 後,桌面程式只顯示本機模型,雲端選項變成不可選。這尚不足以證明普遍性回歸,卻是測試切換、登出及復原程序的明確理由。下一步應觀察正式版是否擴及 Windows、是否公開連線與權限文件,以及桌面端能否可靠地在本機與雲端執行間切換。

來源

  1. Ollama v0.34.0-rc1 release notes
  2. Moving to the new ChatGPT desktop app
  3. New ChatGPT desktop app stuck on local Ollama model