返回首頁

GitHub Repo

Transformers 回報遠端程式快取競爭,多程序載入可能讀到未完整檔案

11 月 16 日的 Transformers 問題回報指出,多個程序共用快取載入遠端模型程式時,可能匯入尚未複製完成的 Python 模組。回報附離線重現程式與原子替換建議,但尚無維護者確認或正式修補。

zh-Hant

Transformers 社群於 11 月 16 日提出一項模型載入競爭條件回報:多個程序同時載入需要 trust_remote_code 的模型、並共用模組快取時,部分程序可能讀到尚未寫完的 Python 檔案,出現偶發的 NameError 或 SyntaxError。回報針對 main 分支的 5.24.0.dev0,穩定版影響範圍仍待確認。問題回報

依提交者分析,get_cached_module_file 先檢查目的檔是否存在,再透過 shutil.copyfile 將遠端程式複製到 HF_MODULES_CACHE。第一個程序建立檔案後,另一個程序可能立即通過存在檢查、跳過複製並開始匯入;此時檔名已可見,內容卻尚未完整。這使共用快取的多 rank 啟動流程存在失敗窗口。技術細節

回報附上 CPU、離線的重現程式,刻意放慢複製以放大競爭窗口,顯示第二次呼叫可在檔案僅寫入約一半時返回。這提供可檢查的機制證據,但尚不足以推算真實叢集的發生率,也未涵蓋不同檔案系統。重現案例

這條載入路徑對自訂模型具有實際意義。Hugging Face 官方文件說明,自訂模型可將模型與設定程式上傳至 Hub,再透過 trust_remote_code=True 載入。工程上的啟示是,多程序部署除了準備權重,也須檢查動態程式快取是否已完整建立;這是根據回報機制提出的部署判讀。自訂模型文件

提交者建議先寫入同目錄暫存檔,再用 os.replace 替換目的檔。Python 文件指出,該操作成功時具原子性,跨檔案系統則可能失敗。後續應觀察上游是否提出修補、加入並行載入測試,以及在共用儲存環境驗證。截至查核時,議題仍開啟,頁面未列出關聯修補 PR。Python 文件、議題狀態

來源

  1. Remote code is copied into HF_MODULES_CACHE non-atomically, so a concurrent process can import a truncated module
  2. Customizing models
  3. os.replace — Python documentation