返回首頁

模型發布/端側 AI

Liquid AI 開放 LFM2.5-2.6B 權重,2.69B 端側模型支援 128K 上下文與工具呼叫

LFM2.5-2.6B 以短卷積與 GQA 混合架構,把代理推理、工具使用及長上下文帶到手機與個人電腦。官方測得 M5 Max 解碼 220 token/s,但效能與代理基準均主要來自廠商自評。

NASA · Public domain · Image source
zh-Hant

Liquid AI 發布並開放 LFM2.5-2.6B 的基礎與代理後訓練權重,目標不是以小模型取代雲端前沿模型,而是讓持續運作、重視資料隱私或無法連網的代理工作流能在本機執行。模型共有 2.69B 參數、30 層,其中 22 層採雙閘控短卷積、8 層採 grouped-query attention;詞彙表擴至 128,000,支援中文等 16 種語言,並透過中期訓練把上下文延長至 131,072 token。預訓練總量約 34 兆 token。

後訓練分成兩輪監督微調、分領域教師專精、多領域 on-policy 蒸餾及代理強化學習。最後一階段讓模型直接在 Hermes Agent、OpenClaw 等代理外殼內,以 GRPO、程式檢查、LLM 評分與安全閘門學習多回合工具操作。這比只訓練固定 JSON 函式呼叫更接近真實執行環境,但也可能使成果依賴訓練時見過的提示及工具格式。

官方提供 BF16、GGUF、ONNX 與 MLX 版本,並支援 Transformers、llama.cpp、vLLM、SGLang。廠商測得模型在低於 2.5GB 記憶體下,於 M5 Max 與 Ryzen AI Max+ 395 分別達 220、113 token/s,手機約 30 token/s;單張 H100 的高併發輸出則接近每秒 15,000 token。BFCL v4 得分 56.88、ToolSandbox 77.83,後者略高於受測的 Qwen3.5-9B,但程式基準仍落後較大模型。

工程團隊應先在目標硬體重測首 token 延遲、長上下文 KV cache、量化後工具正確率與多回合失敗恢復。官方也明確不建議把它用於知識密集或代理式程式開發;此外,權重採 LFM Open License 1.0,部署前仍須檢查授權條款,而不能僅依「開放權重」宣傳判斷使用限制。

來源

  1. LFM2.5-2.6B: Deploy Agents Everywhere
  2. LiquidAI/LFM2.5-2.6B Model Card