GitHub Repo
Transformers 回報連續批次推論建立 CUDA graph 時記憶體不足,圖數量管理待查
11 月 16 日的 Transformers 問題回報指出,連續批次推論在部分機器建立 CUDA graph 時可能耗盡 GPU 記憶體,加入 MLA 模型後問題再次浮現。回報環境使用開發版,目前尚無完整重現案例、根因確認或正式修補。
Transformers 專案於 11 月 16 日新增問題追蹤,指出連續批次推論(continuous batching)在部分機器建立 CUDA graph 時,可能觸發 GPU 記憶體不足。回報環境為 Transformers 5.24.0.dev0、PyTorch 2.13.0+cu130 與 NVIDIA B200;現有證據不足以將影響擴大至所有正式版本或 GPU。問題追蹤
連續批次推論會在每個生成步驟重新安排請求,讓新請求接替已完成的工作。CUDA graph 則預先記錄 GPU 執行流程,讓相同張量形狀的批次重播,以減少 CPU 派發負擔。官方文件說明,系統會對查詢與 KV 長度進行填補,並快取對應的圖;不同形狀可能需要另外擷取,因此圖的數量也是記憶體成本的一部分。連續批次推論文件
回報者表示,部分具備快速執行路徑的模型,其圖數量受到限制,因此過去較少遇到問題;加入 MLA 模型後,情況再次浮現。專案曾有圖數量上限,但先前量測認為每張圖的成本很低,因而移除。此次待查方向包括 CUDA、PyTorch 或模型實作變動、快取更新,以及移除上限本身是否有誤,目前沒有定論。回報內容
這對部署的啟示是,容量評估需要納入圖擷取階段與請求形狀變化。依文件機制推論,只量測固定長度、固定批次的穩態負載,可能無法代表多種形狀下的記憶體峰值;這仍是工程推論,尚未經此次回報的量測驗證。較小的填補間隔雖能減少多餘運算,文件也明確提醒,代價是需要記錄更多獨特形狀。設定取捨
排查時也應核對版本:官方 API 文件已將 max_cached_graphs 標為自 5.13 起棄用,直接套用舊版限制參數未必有效。後續值得關注的是具體受影響模型、完整重現腳本,以及圖數量與記憶體占用的對照量測。截至查核,議題仍開啟,未列出修補分支或 PR,尚不能視為已有可用解法。設定參考、處理狀態