Transformers 社群公布八卡 B200 儲存測試，揭示模型權重集中寫入瓶頸

Transformers 社群於 10 月 30 日提交一份八卡 NVIDIA B200 基準測試，比較現行模型權重載入、集中儲存與分散式 checkpoint（DCP）路徑。這次新增的是公開量測與重現腳本；測試使用指定的 main 提交版本，並未修改函式庫實作。測試報告

在 Qwen2.5-72B、八路完全分片資料平行（FSDP）配置下，集中儲存耗時 158 秒，DCP 為 52 秒；Qwen3-235B-A22B 則分別為 772 秒與 219 秒。作者指出，集中路徑需在主程序收集完整權重、轉換格式並寫檔，其他程序等待，235B 案例的主程序記憶體峰值達 775 GB。量測與瓶頸分析

DCP 的設計讓各運算程序平行儲存自身分片，載入時也能依不同叢集拓撲重新分片。PyTorch 文件說明，這類 checkpoint 通常包含多個檔案，並使用模型預先配置的儲存空間載入。這解釋了它為何適合分散式恢復流程，也提醒工程師把檔案布局與載入方式納入部署設計。PyTorch DCP 文件

較快寫出分片，也不代表模型交付流程已完成。報告另測得，72B 的 DCP 權重整併為單一 safetensors 檔案仍需 202 秒。對需要匯出模型的團隊，這意味著應分別量測定期保存、故障恢復與最終匯出的成本，不能只用其中一段耗時估算整體收益。整併測試

這些數字仍是單機社群結果，多數案例僅執行一次，且只測權重，未包含最佳化器狀態或多節點通訊。後續值得關注的是獨立重現、完整訓練 checkpoint 測試，以及不同儲存設備上的表現；跨版本恢復也須驗證，因 PyTorch 明示 DCP 的 state_dict 不保證跨版本相容。測試範圍、相容性說明