返回首頁

GitHub Repo

llama.cpp 發布 1.0,明確標示 API 相容性並移除舊介面

llama.cpp 於 11 月 13 日發布 v1.0.0,與 ggml 同步以主版本號標示 API、ABI 不相容變更。新版也加入 FP8 KV 快取與主記憶體 MoE 專家快取,下游整合須先檢查已移除的介面。

The GGML authors · Public domain · Image source
zh-Hant

llama.cpp 團隊於 11 月 13 日發布 v1.0.0,核心張量函式庫 ggml 也同步進入 1.0。對把本地推論嵌入桌面程式、服務或語言綁定的開發者,這次最重要的改變是相容性規則:團隊承諾,往後 API 與 ABI 的不相容變動將反映在主版本號,讓下游更容易辨識升級邊界。官方公告

公告將公開 include 目錄中的 C API 列為版本管理依據:破壞性變更升主版,向後相容的功能、後端與模型支援升次版,沒有 API 變動的修錯則升修訂版。這讓套件維護者能更有依據地安排依賴更新,但不能直接推論所有內部介面都獲得相同保證。版本規則

此次升級本身已有遷移成本。版本說明列出移除 llama_set_warmup、35 個棄用函式,以及 defrag_thold 欄位與命令列選項;NextN/推測解碼介面則從擴充標頭提升至公開的 llama.h,並調整其中一個函式名稱。直接連結函式庫或自行維護綁定的專案,應先比對標頭與呼叫位置,再重新編譯驗證。發布說明

記憶體管理也有實質更新:新增 OCP FP8 KV 快取,可透過 -ctk/-ctv f8_e4m3 選用,並支援靜態逐張量縮放;MoE 專家快取則放在主記憶體,提供可設定的 CPU 分擔比例與替換策略。工程上,前者值得用長上下文測試容量與品質,後者則須觀察快取命中率及 CPU、GPU 間的工作分配,不能只憑功能名稱推算加速幅度。技術變更

對部署團隊而言,下一步是把版本鎖定、綁定重建與固定工作負載回歸測試納入更新流程。官方資料尚未提供能概括各種硬體與模型的統一效能增幅;1.0 的主要價值,是讓快速演進的推論底層具備更清楚的相容性訊號,而實際延遲、記憶體占用與輸出品質仍須分別量測。

來源

  1. llama.cpp v1.0.0: A stronger foundation for the local AI ecosystem
  2. Release v1.0.0 · ggml-org/llama.cpp