返回首頁

GitHub Repo

Open WebUI 0.12.4 新增已選技能按需載入,擴充短對話與臨時聊天的上下文壓縮

Open WebUI 於 10 月 25 日發布 0.12.4,讓已選取或綁定模型的技能可改為需要時才載入指令。新版也將上下文壓縮擴及臨時聊天與已超過門檻的短對話,並提供可展開的摘要標記。

NASA · Public domain · Image source
zh-Hant

Open WebUI 於 10 月 25 日發布 0.12.4,調整代理工作流程的上下文管理:管理員可讓已選技能按需載入,並讓臨時聊天及工具輸出龐大的短對話也能執行壓縮。這些改動直接影響送往模型的內容與後續對話能否繼續。版本說明

既有技能機制會將聊天中選取、或綁定模型的 Markdown 指令隨訊息注入;其他可讀技能則以名稱與描述列入清單,由模型透過 view_skill 取得內容。技能還可附帶參考資料與腳本,模型透過 read_skill_file、grep_skill_files 讀取或搜尋。技能文件

新版新增 ENABLE_SKILL_LAZY_LOADING,預設關閉,也可從管理員的一般設定啟用。開啟後,已選及模型綁定技能也改走按需載入;訊息內明確提及的技能仍立即注入。這項行為需要內建技能工具,缺少工具時仍會預先載入指令。實作將明確提及的技能保留在立即啟用集合,因此選取技能與要求當下使用技能,開始具有不同語意。實作差異

工程上的預期收益是減少未使用指令占據上下文,但模型必須正確判斷何時載入技能,可能增加工具往返,也可能漏讀必要規範。這是依機制推論;官方未公布此次改動的 token 節省量、延遲或任務成功率比較,團隊應用自己的工作負載驗證。

上下文壓縮則新增短對話與臨時聊天支援,涵蓋單次提問後產生大量工具輸出的情境。介面會標示壓縮位置並允許展開摘要,工具呼叫之間發生的壓縮也能在回覆內辨識,方便追查模型當時保留了哪些資訊。更新內容

壓縮功能仍須另外啟用,透過摘要取代較早訊息,不能視為精確的 token 上限保證。升級後宜檢查摘要是否保留限制條件,並比較技能是否確實被載入;官方部分文件仍描述舊有注入與顯示方式,部署時應對照版本說明與實際請求。上下文管理文件

來源

  1. Open WebUI v0.12.4 版本說明
  2. 已選技能按需載入實作差異
  3. Skills 官方文件
  4. Context Window / Prompt Too Long 官方文件