最新模型
Tencent、Hy4正式版の重みを公開。vLLMでのデプロイには新版イメージまたはnightlyが必要
Tencentは11月20日、Hy4の指示調整版、FP8版、事前学習済みベースモデルの重みを公開し、フラッグシップのマルチモーダルモデルがセルフホスト可能になった。公式デプロイ文書には投機的デコードの設定例があるが、100万トークンのコンテキスト、ハードウェア容量、独自ライセンスはそれぞれ確認が必要だ。
Tencentは11月20日、Hy4正式版の重みを公開し、指示調整モデル、FP8量子化版、事前学習済みベースモデルを提供した。今回の更新により、先に発表されていたモデルの能力が、ダウンロードして自分で検証できる形になった。ベース版は指示チューニングを受けていないため、チャットモデルと同じ使い方を想定してはならない。公式モデルカード
Hy4の言語バックボーンは混合エキスパート(MoE)アーキテクチャを採用し、総パラメータ数は7,700億、各トークンで有効化されるのは約490億だ。78層のうち77層でエキスパート・フィードフォワードネットワークを使用し、各層で256個のルーティングエキスパートから8個を選択するほか、共有エキスパートを1つ備える。AttentionにはGated DSAと層間のスパースインデックス再利用を組み合わせ、ビジョンエンコーダーで画像や動画フレームを処理する。こうした設計のため、デプロイ時には重みの保存容量、エキスパートの計算量、長いコンテキストのキャッシュを同時に考慮する必要があり、有効パラメータ数だけからVRAM使用量を見積もることはできない。公式リポジトリ
今回の公開では、推論設定が実務上の重要なポイントとなる。vLLMの文書によると、0.34.0にはHy4アーキテクチャがまだ登録されていないため、専用イメージ、または11月20日以降にビルドされたnightlyを使う必要がある。設定例では8基のGPUによるテンソル並列を使い、hy_v4ツールと推論パーサーを組み合わせている。組み込みのDFly2ドラフトモデルは、メインモデルのKVキャッシュとスパースインデックスを再利用し、別個のドラフトキャッシュを作らずに済む。ただし、この構成例は131,072トークンのウィンドウから開始しており、100万トークンのリクエスト全体ではまだ検証されていないと明記されている。モデル仕様上の上限を、そのままサービス容量の保証とみなすことはできない。vLLMデプロイレシピ
ライセンスも個別に確認する必要がある。リポジトリはTencent Hy License 1.0を採用しており、文書にはApache 2.0を改変し、大規模モデルのサービス事業に関する商用条項を追加したものだと記されている。エンジニアリングチームは、まずイメージのバージョンを固定し、自社のワークロードで初回トークンのレイテンシ、投機的デコードの受け入れ率、長文コンテキスト利用時のメモリピークを測定してから、デプロイコストを判断すべきだ。公式の能力や性能に関する説明は、独立した再現検証を待つ必要がある。ライセンス原文