返回首頁

推論基礎設施

Hugging Face 關閉舊式 kernel 模型倉庫,未遷移的推論程式可能立即失效

Hugging Face 自 9 月 13 日起移除以一般模型倉庫保存的舊版運算核心,使用者須升級 `kernels` 並改用新的 kernel 倉庫類型。遷移同時強制指定 API 版本及限制可信發布者,但下載時的簽章驗證仍未自動啟用。

Richard Huber · CC BY-SA 3.0 · Image source
zh-Hant

Hugging Face 已開始移除 `kernels-community/flash-attn3` 等以一般「model」類型建立的舊式核心倉庫。這不是單純整理 Hub 頁面:仍由舊版 `kernels`、固定 revision 或直接下載舊倉庫路徑取得二進位檔的推論映像,可能在重新建置、清空快取或擴展新節點時才突然發現資源不存在。已經快取的核心或許暫時可用,卻不能視為可重現部署。

新架構把 CUDA、Metal、XPU 等運算核心提升為獨立的 kernel repository type,倉庫卡會列出作業系統、加速器、PyTorch 與 ABI 相容性。自 `kernels` 0.15.1 起,`get_kernel()` 也必須明確傳入 `version`;介面發生破壞性變更時,維護者應增加主要版本,而不是讓同一呼叫靜默取得不同 API。離線環境可設定 `HF_HUB_OFFLINE=1`,但前提是所需版本已進入本機快取。

安全性是這次遷移的另一條主線。核心是與 Python 程序同權限執行的原生程式碼,新客戶端預設只載入可信發布者;其他來源必須顯式設定 `trust_remote_code=True`。建置工具已能把檔案雜湊與 Sigstore 簽章寫進中繼資料,也能手動執行簽章檢查,但 0.16 的載入流程尚不會自動拒絕未驗證簽章,因此不能把「來自新 kernel Hub」等同完整供應鏈驗證。

工程團隊應搜尋映像與鎖檔中的舊 Hub URL,升級客戶端、替每個核心鎖定版本,並在無快取的乾淨容器重跑啟動測試。還要確認內部鏡像是否保留 kernel repository type 的中繼資料;只複製二進位檔,可能遺失相容性與來源資訊。

來源

  1. Migrate from older versions — Hugging Face Kernels
  2. huggingface/kernels v0.15.1 release notes