Ollama 預覽版加入 Flint 程式代理模型，首版支援限 macOS

Ollama 於 10 月 21 日發布 v0.40.8-rc0，加入 Recursive 的程式代理模型 Flint。發布說明列出 ollama run flint 啟動方式，同時明確限定 rc0 的 Flint 支援範圍為 macOS，其他 GPU 支援預計在後續候選版本開放。對想把程式代理搬到本機的開發者而言，這提供了新的部署入口，但仍須核對平台與版本。Ollama 發布說明

Flint 共有 398 億參數，每個 token 約啟用 25 億參數，支援文字輸入輸出、推理與多輪工具呼叫，權重採 Apache 2.0 授權。模型設定提供 262,144 token 的上下文容量，輸入與生成內容共用額度。稀疏啟用降低每步運算量，卻不能據此把完整模型的記憶體需求視為 25 億參數模型。官方模型卡

這次整合也涉及工具提示與注意力運算。Ollama 的標籤說明指出，實作會在解碼後的 API 值之外保留工具原始 JSON，讓 Flint 在提示中保留數值型別與結構描述順序；MLX 注意力則新增可選的可學習注意力 sink 與裝置端因果遮罩。匯入流程也會組裝 ModelOpt 專家權重，並拒絕尚未轉換就直接建立 Flint NVFP4 模型的路徑。版本技術說明

伺服器端同日也有部署進展。vLLM 提供專用 Flint 映像，並說明其量化核心針對單張 Blackwell GPU 最佳化；其他配置會退回標準層。因此，該團隊公布的長上下文解碼速度，不能直接套用到 Ollama 或一般桌上型 GPU。vLLM 技術文章

接下來值得追蹤的是其他 GPU 支援何時落地，以及不同精度與執行環境下的工具呼叫正確率。模型卡要求沿用官方聊天模板，並在歷史中保留 reasoning_content；也提醒長推理可能耗盡輸出預算。工程團隊應以自己的儲存庫任務驗證完成率、延遲及記憶體占用，上下文容量本身並不保證長任務品質。模型使用限制