返回首頁

本地 AI 與代理應用

Home Assistant 2026.8 Beta 原生接入 llama.cpp 與 LiteLLM,住家對話代理可完全自架

Home Assistant 新增 llama.cpp 與 LiteLLM 對話整合,可為不同模型建立各自的代理與指令。更新降低本地模型接入門檻,但目前仍是 beta,端到端工具呼叫可靠性取決於模型、schema 與硬體。

JohnWilliamDoe · CC BY-SA 3.0 · Image source
zh-Hant

Home Assistant 2026.8 Beta 把兩條常見的自架模型路徑納入核心整合。新的 llama.cpp 整合可連接本機 llama.cpp server,也接受 OpenAI 相容端點;使用者能建立多個 conversation agent,分別指定模型與系統指令,讓語音或文字請求不必離開自有硬體。另一項 LiteLLM 整合則把 LiteLLM proxy 當成統一入口,Home Assistant 會依已設定模型建立代理,使雲端 API、自架推論服務及不同供應商能共用一套連線方式。

技術上的改變不是 Home Assistant 自己開始執行模型,而是將模型路由與代理設定變成受支援的核心元件。llama.cpp 負責模型載入、量化與 OpenAI 相容 API;LiteLLM 負責供應商轉接、驗證及路由。這讓工程師可以把敏感的住家狀態留在區域網路,也能用小型本地模型處理簡單意圖,把較難任務導向另一個端點,而不必維護第三方附加元件。

真正風險在動作層。能流暢聊天不代表模型會穩定產生正確工具名稱、參數與多步呼叫;住家代理一旦可控制門鎖、警報或電器,誤選實體與遺漏確認都可能造成實體後果。OpenAI 相容也只描述 API 形狀,不保證各模型的 tool-calling 語意、串流格式、上下文長度或錯誤處理完全一致。

目前發布的是 beta,正式版頁面標示 8 月 5 日,功能仍可能調整。測試者應建立一組真實指令回歸測試,逐項核對實際工具呼叫,而非只閱讀自然語言回答;同時限制可暴露實體、為高風險動作加入確認,並量測本地硬體在長上下文及多代理並行時的延遲與記憶體占用。

來源

  1. Home Assistant 2026.8 Beta release notes
  2. llama.cpp repository
  3. LiteLLM documentation
  4. Home Assistant community beta thread