Solar Open 2、ハイブリッド線形アテンションで250B MoEのコンテキストを100万tokenに拡張

Upstageは、ツール呼び出し、コーディング、文書中心のオフィスワークフロー向けオープンウェイトモデル「Solar Open 2」をリリースした。疎なMoEを採用し、総パラメータ数は約250B、各tokenは約15Bのパラメータにルーティングされる。320個のルーティング専門家に加え、1個の共有専門家を備える。重みは英語、韓国語、日本語に対応する。モデルカードに記載されたアーキテクチャは48層、hidden size 4096、語彙数196,608のbyte-level BPEとなっている。

特に注目すべきなのは、長いコンテキストに対応する設計だ。モデルは「softmax attention 1層、linear attention 3層」を交互に配置しているため、従来型のKV cacheを保持する必要があるのは12層だけだ。線形層では、負の特徴値にも対応するよう拡張したgated delta ruleを使用し、RoPEを含む位置エンコーディングを完全に排除している。Upstageの推定では、これにより100万tokenの推論に必要なメモリと計算量は、同じ形状の全層softmaxモデルのおよそ4分の1に削減される。大量のツール出力、コード、中間生成物を蓄積するエージェントにとって、これは公称コンテキスト長を単に引き上げる以上に、デプロイ上の意義が大きい。

学習では、チームはSolar Open 1から互換性を維持している5.69Bのパラメータを選択的に移行した。これは新モデル全体の約2.3％にすぎず、残りは改めて事前学習している。さらに、20T-tokenのコーパスプールから10T-tokenの混合データを構築した。post-trainingでは、まず12個のドメイン専門家を作成し、その後multi-teacher on-policy distillationによって単一のチェックポイントへ統合した。

公式報告によると、Solar Open 2はMMLU-Pro、LiveCodeBench、APEX-Agentsにおいて、同程度の規模のオープンモデルを上回った。韓国語のKo-GDPvalスコアも、前世代の3.4から86.8へ上昇した。ただし、Ko-GDPvalは社内のオフィスエージェント用ベンチマークであり、モデル間の比較で同一のエージェントフレームワークが使われているとは限らない。エンジニアリングチームは今後、推論フレームワークによるハイブリッドアテンションとNoPEのネイティブサポート、100万token時の実際のメモリ使用量曲線、そして長時間ワークフローの成功率を第三者が再現できるかどうかを確認する必要がある。