Transformers 5.20.1 修復舊版 PyTorch 載入退步，新增 Beam 模型支援

Hugging Face 於 10 月 16 日發布 Transformers 5.20.1，接續前一天的 5.20.0，處理維護者明確認可的相容性退步：先前變更破壞了較舊 PyTorch 版本的模型載入。這次更新也加入 Reflection AI 的 Beam 模型，讓修補版同時承擔新架構整合與既有環境修復。官方發布紀錄

載入修補涉及兩個不同層次。發布說明列出，from_pretrained 在 PyTorch 2.7 的問題透過將分散式檢查點功能限定於 PyTorch 2.8 以上處理；另一項修改則讓 DtensorShardOperation 能在 PyTorch 2.6 與 2.7 運作。對仍固定使用舊版運算環境的團隊，這些差異意味著需要分開確認一般權重載入、張量分片與分散式檢查點路徑，不能只以套件安裝成功判斷相容性。修補項目

推論方面，新版列出 DeepGEMM Mega MoE 在專家平行設定下的修正，以及 HunYuan-VL 批次生成時的影像指派修正。前者關係到多 GPU 專家運算路徑，後者則涉及批次中的圖像如何對應輸入。不過，發布紀錄沒有提供修補後的完整吞吐量比較，因此尚不能據此認定前版警告的專家平行速度退步已全面排除。版本說明

PyPI 已提供 5.20.1 的原始碼封裝與 wheel，發布日期同為 10 月 16 日；套件頁仍標示支援 Python 3.10 以上及 PyTorch 2.6 以上。這使使用舊版 PyTorch 的部署者有可直接安裝的修補版本，但個別功能仍有更高版本門檻。PyPI 套件紀錄

工程團隊接下來應以既有模型檢查點驗證冷啟動、分片載入及首輪生成，再針對專家平行部署量測延遲與吞吐量。若使用視覺模型，也應加入多張不同影像的批次測試，確認輸出對應正確；這些驗證才能判斷修補是否涵蓋實際服務路徑。