Hy4 Preview、770B MoEの重みを公開——疎な注意機構と組み込みMTPで長文コンテキスト・エージェントを狙う

Tencentは8月28日、78層、総パラメータ数770BのMixture-of-Experts（MoE）モデルであるHy4 Previewを公開した。第1層のみ密なFFNを使用し、残る77層にはそれぞれ256個のルーティングExpertと1個の共有Expertが配置されている。各tokenでは8個のルーティングExpertが選択され、共有Expertも活性化されるため、バックボーンで実際に活性化されるパラメータは約49Bとなる。さらに、モデルにはネイティブMTP層が1層組み込まれており、総パラメータ数は約10B、活性化パラメータ数は0.7Bで、speculative decodingにおいて後続tokenを一度に予測できる。

注意機構にはGated DeepSeek Sparse Attentionを採用し、IndexCacheによって疎なインデックスを層間で再利用する。モデルカードに記載されたインデックスのtop-kは2,048で、ネイティブのコンテキスト長は100万tokenである。残差経路には4本のidentity Hyper-Connectionsを使用する。公式にはBF16とFP8の重み、fine-tuning手順、vLLMおよびSGLang向けのビルド済みイメージが提供されている。推奨されるFP8サービング構成では、8-way tensor parallel、疎な注意機構用バックエンド、3～4個のspeculative tokenを使用し、OpenAI互換APIを公開する。これにより研究チームはアーキテクチャ全体を検証できるが、770Bの重みは依然としてデータセンター級のデプロイを必要とする。1回に活性化されるのが49Bだけだからといって、一般的な49Bモデルと同等のメモリ要件になるわけではない。

Tencentによると、Hy4は探索的な学習手法、データ戦略、評価、低レベルoperatorの開発に関与し、operator fusionと通信最適化によって、内部ベースライン比で推論スループットを31.8％向上させたという。これはモデルが実験の遂行を支援する研究開発のクローズドループに近く、モデルが人間の監督なしに自身の重みを変更できることを意味しない。また、163人の社内専門家が203件のエンジニアリングタスクを評価したブラインドテストでは、Hy4の平均スコアは2.99／4で、GLM-5.3の2.92とKimi K3の2.94をわずかに上回った。ただし、問題、採点データ、再実行可能なharnessはまだ公開されていない。今後エンジニアリングチームは、第三者による長文コンテキストおよびエージェント評価、FP8による品質低下、実際のKV cacheコスト、そして公式にも認められている過剰な推論と反復的な検証の問題に注目すべきだ。