GitHub Repo
TransformersコミュニティがERNIE 5.5の適応実装を提案、モデル全体の検証と上流統合は未完了
11月16日、TransformersのコントリビューターはERNIE 5.5 Flash Baseへの適応実装を完了し、一部の実際の重みを使って推論結果を比較したと報告しました。今回の進展は現行のロード互換性の不足に対応するものですが、正式リリースでのサポートには至っていません。
Transformersコミュニティは11月15日、ERNIE 5.5 Flash Baseのサポートを求める要望を提出し、5.23.0のAutoConfigではチェックポイントが宣言するernie5_5_moeアーキテクチャを認識できないと指摘しました。16日、提案者はBF16重みを直接ロードできる実装を完了し、開発ブランチを公開したと述べました。プロジェクトメンバーは、開発の重複を避けるため、統合の進め方をERNIEチームに確認するとしています。確認時点で、スレッドには上流へのマージリクエストは記載されていません。出典:サポートに関する議論
この不足により、既存のファインチューニング・ツールチェーンにモデルを組み込む際の利便性が損なわれます。重みがHugging Face形式でも、実行には対応するモデルクラスが必要です。報告によると、このチェックポイントにはauto_mapもモデル実装も含まれていないため、既存のAutoクラスを使ったロード経路をそのまま利用できません。Transformersに依存する学習ワークフローでは、後続の統合を評価する前に、まずアーキテクチャへの適応を補う必要があります。出典:問題の説明
Baiduのモデルカードによると、これは総パラメータ数2,800億、トークンごとの有効パラメータ数140億のテキスト専用基盤モデルで、中間学習やポストトレーニングはまだ行われていません。43層のバックボーンは、圧縮アテンション37層とMLAスパースアテンション6層を組み合わせ、潜在空間MoEを採用しています。層ごとにアテンションの次元やキャッシュの挙動が異なるため、適応作業には実際の計算経路への対応が必要で、アーキテクチャ名のマッピングを追加するだけでは済みません。出典:公式モデルカード
現時点で検証範囲は限られています。コントリビューターによると、実際の重みから3層を切り出し、vLLM-ERNIEと比較して、ブロック出力、エキスパートのルーティング、キャッシュを使ったデコードの一貫性を確認しました。これらは提出者による報告であり、モデル全体、長いコンテキスト、学習時の勾配がすべて正しいことを示すものではありません。出典:検証報告
先行してデプロイする必要があるチームは、Baiduのモデルカードに記載されたSGLangおよびvLLM-ERNIEの利用経路を参照できます。今後は、上流への実装、重み全体を使った数値比較、FP8でのロード検証が注目点です。ファインチューニングを行うチームは、ライセンス条件と必要メモリも別途確認してください。トークンごとの有効パラメータ数を、重み全体の保存に必要な容量と同一視することはできません。出典:デプロイとライセンスの説明