ホームへ戻る

AI 研究

K2-Horizonの技術レポート公開、MoVA AttentionとUnoによるデコード高速化を詳述

IFMチームは11月16日、K2-Horizonの技術レポートを提出し、Attentionの疎化、合成データ、デコード高速化の設計を説明しました。モデルシリーズは9月に公開済みで、今回は研究者が検証できる包括的な技術手法とテスト条件に焦点を当てています。

zh-Hant

MBZUAI傘下のInstitute of Foundation Models(IFM)チームは11月16日、6つの言語モデルのアーキテクチャ、学習、推論手法をまとめたK2-Horizonの技術レポートをarXivに提出しました。これは既存のモデルシリーズに関する研究資料の更新です。大学は9月3日に、0.9Bから375B-A23Bまでのモデルを公開し、重み、コード、学習データも提供すると発表していました。論文の投稿記録、当初の公開発表

レポートで中心となるアーキテクチャ上の工夫は、Mixture-of-Value Attention(MoVA)です。Attentionのvalue projectionに専門家ルーティングを導入し、トークンごとに一部のprojection計算を選択します。Attention計算そのものは維持されるため、FlashAttentionやGQAなどの手法と併用できます。著者らによると、36B-A4Bモデルの事前学習損失は、同じデータと設定で学習した32Bのdenseモデルに近いものの、後者がわずかに優れていました。アーキテクチャの説明

推論面では、独立した別のdraft modelを必要とせず、ブロック単位のdraftと検証によって生成を高速化するUno拡散アダプターを提案しています。著者らは、指定された1K/8Kのスループットテストで、7B版がバッチサイズ1では約2.2倍、バッチサイズ64では約1.5倍高速になったと測定しました。これらはチームによるテスト結果であり、任意のハードウェアやエージェントタスクにおけるエンドツーエンドの高速化を直接示すものではありません。Unoのテスト結果

デプロイ担当者向けに、モデルカードには具体的な統合条件も記載されています。36B-A4Bは524,288-tokenのコンテキストに対応し、SGLangのレシピは2基のH200で検証されています。また、専用の推論パーサーとツール呼び出しパーサーを設定する必要があります。モデルカードはさらに、Hugging Face実装では、補助的な負荷分散損失を含め、ネイティブのxLLMとは学習時の挙動が異なる可能性があると注意を促しています。事前学習を引き継ぐ場合は、ネイティブのチェックポイントと実行環境を使用してください。公式モデルカード

エンジニアリング面では、実際のプロンプト長、同時実行数、ツールチェーンを用いて、スループットとタスク成功率を再測定することが次の課題です。研究者は中間チェックポイントを使って能力の変化を追跡し、自身の評価条件でアーキテクチャ上の利点を再現できるか検証できます。チェックポイントと利用上の推奨事項

出典

  1. K2-Horizon: A Frontier Fleet of Open Source Language Models
  2. K2-Horizon 技術報告全文
  3. K2-Horizon-MoVA-36B-A4B 官方模型卡