Transformers 提出 UltraBERT 原生整合，雙遮罩訓練兼顧分類與檢索

Transformers 於 10 月 14 日收到 UltraBERT 原生整合提案，研究團隊 DMIS Lab 同日發布模型介紹，提供約 1.5 億與 3.8 億參數的英文編碼器，以及可直接使用的嵌入模型。系列採 Apache 2.0 授權、支援 32K 上下文；本次新進展是模型發布說明與框架整合，相關論文已於 10 月 10 日提交。發布說明、論文

UltraBERT 的核心改動在預訓練目標。作者實驗發現，較低遮罩比例有利分類，較高比例有利檢索，因此在同一批次以四比一混合遮罩率 5% 與 50% 的序列，共用編碼器，卻分別使用獨立的語言模型輸出頭。低遮罩分支接受 13 億參數教師的蒸餾，高遮罩分支維持一般遮罩語言建模，避免蒸餾損害檢索表現。訓練方法

架構採局部與全域注意力交替排列，兩者使用不同 RoPE 基底。原生整合提案因此需要管理多組旋轉位置嵌入，並讓模型程式符合 Transformers 的注意力後端介面。提案作者附上 eager、SDPA 與 FlashAttention 2 的輸出對照，在所列測例中，有效 token 的隱藏狀態與原始遠端程式碼一致；這仍屬有限測例，不能代表所有精度與長度均已驗證。整合提案

作者報告 380M 模型取得 GLUE 91.0、BEIR 47.7，但這些是各任務微調後的結果。基底檢查點仍需針對分類或檢索訓練，不能直接視為完成部署的通用向量模型。對工程團隊而言，值得測試的是同一小型骨幹能否支撐文件分類與搜尋，降低維護多套模型的成本。模型卡

截至查核，原生整合仍開放審查，現有模型卡要求設定 trust_remote_code=True。後續應追蹤合併與正式版本收錄，並以自身語料量測長文件延遲、記憶體及檢索品質；模型以英文資料訓練，現有分數不足以推論中文表現。提案狀態、使用限制