Transformers 社群提出問答模型載入修補，避免底層預訓練權重被重新初始化

Transformers 社群於 10 月 26 日提出權重載入修補，處理將因果語言模型檢查點轉為問答模型時，底層參數可能未被沿用的問題。原始回報使用開發版 5.21.0.dev0，透過 LlamaForQuestionAnswering 或自動模型介面載入 Llama-2-7b，均出現大量底層權重未使用、預期參數缺失的載入報告。原始回報

回報指出，檢查點以 model.* 儲存底層參數，問答模型卻期待 transformer.*，載入器因此無法對應。官方文件說明，未使用的權重會遭捨棄，未從檢查點初始化的參數則需要後續訓練。對微調流程而言，這代表工程師必須區分新問答輸出層的正常初始化，以及底層預訓練參數未載入的異常；若忽略後者，實驗便可能失去原本預期的預訓練起點。模型載入文件

修補提案為十二種問答模型類別加入專屬名稱轉換，將 model. 對應至 transformer.，並設計反向轉換以保留既有問答檢查點的相容性。作者回報，小型 Llama 測試在修補後僅缺少問答輸出層，二十個底層張量全部一致；RTX A5000 的半精度檢查也顯示底層隱藏狀態差異為零。這些結果由提交者提供，尚非獨立驗證。修補提案

截至查核時，提案仍開放，CI 等待維護者核准；作者也揭露使用 AI 協助準備變更。現有證據不足以認定所有穩定版或列出的模型皆已確認受影響。工程團隊可先保留載入報告，利用文件提供的 output_loading_info 檢查缺失與多餘參數，再比較底層張量是否沿用。接下來應追蹤維護者審查、各模型回歸測試與正式修復版本。提案狀態、載入檢查介面