返回首頁

GitHub Repo

Ollama 0.40.16 納入 Ripple 65B,MLX 路徑支援 DFlash 2 推測解碼

Ollama 於 11 月 9 日發布 0.40.16,加入面向編碼代理的 Ripple Preview,並提供多種代理工具的啟動方式。官方模型頁列出 MLX 引擎的 DFlash 2 推測解碼支援,但尚未提供這條執行路徑的加速幅度與品質實測。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 於 11 月 9 日發布 0.40.16,將 Ricursive Intelligence 的 Ripple Preview 納入版本重點。開發者可用 ollama run ripple-preview 啟動模型;模型頁也列出 Claude Code、OpenCode 與 Hermes Agent 的啟動指令,讓既有編碼代理接上這個本機模型。版本說明

這次整合值得注意的是推論路徑。Ollama 表示,Ripple 在 MLX 引擎上使用 DFlash 2 推測解碼加快生成;頁面列出的模型檔案約為 39 至 46GB。不過,檔案大小不能直接視為執行所需記憶體,部署仍須為上下文快取與執行期配置留出空間。官方尚未在該頁提供速度、硬體條件或推測接受率,工程團隊仍須量測自己的工作負載。Ollama 模型頁

Ripple 本身於 11 月 4 日公開,是以 12 兆 token 預訓練的 65B 稠密 Transformer,採 Apache 2.0 授權。每個 token 都會啟用全部參數,因此不能只用總參數量,直接推算它相對混合專家模型的運算成本。模型卡描述其採用 80 層、較窄的隱藏維度,並提高滑動視窗注意力的比例,以控制注意力成本。官方模型卡

長上下文也有需要辨別的數字:Ollama 標籤顯示 2M 上下文視窗,但介紹文字與原廠模型卡宣稱支援的是約 1M token。這些標示不足以證明完整長度下的任務品質與本機可用性,部署前應確認實際設定、記憶體占用及長程資訊保留能力。

Ricursive 回報 Terminal-Bench 2.1 得分約 80.5,但模型卡也承認,代理框架、摘要策略與序列長度會改變評測結果。這些 BF16 評測不能直接代表 Ollama 量化版本的表現。對中文技術團隊而言,下一步應測試中文需求理解、工具呼叫成功率與端到端任務耗時,確認推測解碼的生成收益能否轉化為實際開發效率。評測條件

來源

  1. Ollama v0.40.16
  2. Ripple Preview — Ollama 模型頁
  3. Ripple-65B Preview 官方模型卡
  4. Introducing Ripple-65B Preview