百度、ERNIE 5.5 Flash Baseの重みを公開　混合圧縮アテンションで長文脈のコストを低減

百度は11月5日、ERNIE-5.5-Flash-BaseのFP8およびBF16重みを公開した。このモデルは33.5T tokensでゼロから学習され、中間学習や後学習を経ていないテキストベースモデルで、ドメイン適応、指示チューニング、強化学習の研究に適している。公式は、事前学習の最大長を128K、ファインチューニングと推論での対応長を1M tokensとして区別している。評価にあたっては、学習時の長さと実際の長文処理能力を分けて考える必要がある。公式モデルカード

アーキテクチャの要点は、長文脈におけるキャッシュ予算の再配分だ。43層のうち37層でHCAを採用し、128 tokensごとに1つのキャッシュ表現へ圧縮しつつ、直近の未圧縮ウィンドウを保持する。残る6層ではMLAによりトークンごとの過去表現を保持し、DSAインデクサーで注意を向ける位置を選ぶ。これにより、大半の層でキャッシュコストを抑え、少数の層が細部の検索を担う。ただし、主要なアテンション計算量に関する説明から、推論サービス全体のコストが100万トークンでも一定に保たれると結論づけることはできない。アーキテクチャの説明

MoEでは、隠れ表現を4096次元から2048次元の潜在空間に射影してからエキスパートに入力する。各層には512個のルーティングエキスパートがあり、1回につき10個を選択するほか、共有エキスパートを1つ備える。独立して初期化された複数のルーターが共同でスコアを付ける。百度によると、この潜在空間設計によってエキスパートの計算量と振り分け時の通信量を減らせる。ただし、トークンあたりの有効パラメータ数が14Bであっても、全重みの格納に必要な容量が14B分で済むわけではない。技術説明

デプロイについては、モデルカードにSGLangとvLLMのcompletionsインターフェースの例があり、入力ではBOS tokenを保持する必要がある。エンジニアリングチームは、後学習の手順を決める前に、対象フレームワークでモデルのロード、長文検索、スループットを検証できる。重みには専用ライセンスが適用されるため、利用条件も確認が必要だ。公式ベンチマークは統一されたプロンプトとfew-shot設定で実施されているが、あくまでベンダーによる自己申告の結果である。今後は、独立した再現検証、長文脈での品質、実負荷におけるFP8とBF16の差に注目したい。デプロイと評価の資料