百度公開 ERNIE 5.5 Flash Base 權重，以混合壓縮注意力降低長上下文成本

百度於 11 月 5 日公開 ERNIE-5.5-Flash-Base，釋出 FP8 與 BF16 權重。這是以 33.5T tokens 從零訓練、尚未經中訓練或後訓練的文字基座，適合領域適配、指令微調與強化學習研究。官方區分預訓練最長 128K 與微調、推論支援 1M tokens，評估時須分別看待訓練長度與實際長文能力。官方模型卡

架構的重點是重新分配長上下文的快取預算。43 層中，37 層採用 HCA，每 128 tokens 壓縮成一筆快取，並保留近期未壓縮視窗；其餘 6 層以 MLA 保留逐 token 的歷史表示，再透過 DSA 索引器挑選注意力位置。這讓多數層維持低快取成本，少數層負責細節檢索。不過，核心注意力計算量的描述，不能直接推導為整個推論服務在百萬 token 下維持固定成本。架構說明

MoE 部分則將隱藏表示由 4096 維投影至 2048 維潛在空間，再送入專家。每層配置 512 個路由專家、每次選取 10 個，另有一個共享專家；多個獨立初始化的路由器共同評分。百度表示，潛在空間設計可減少專家運算與分派通訊，但每 token 啟用 14B 參數，仍不能視為整體權重只需容納 14B。技術說明

部署方面，模型卡提供 SGLang 與 vLLM 的 completions 介面範例，輸入須保留 BOS token。工程團隊可先以目標框架驗證載入、長文檢索與吞吐量，再決定後訓練流程；權重採專用授權，也須核對使用條件。官方基準採統一提示與 few-shot 設定，但仍屬供應商自報結果。接下來值得觀察的是獨立重現、長上下文品質，以及 FP8 與 BF16 在實際負載下的差異。部署與評測資料