最新模型
Tencent、Hy4 flashを発表:1トークンあたり120億パラメータを有効化、キャッシュ削減と低価格APIを実現
Tencentは11月16日、Hy4 flashを発表した。100万トークンのコンテキストとテキスト・画像入力に対応し、1トークンあたり120億パラメータを有効化する。新モデルは注意機構、事後学習、量子化によってサービスコストを抑える。性能データは現時点で主にベンダーのテストに基づく。

Tencentは11月16日、Hy4 flashを発表し、Hy4シリーズを高頻度のドキュメント処理やエージェントのワークフロー向けに拡充した。公式発表によると、総パラメータ数は2,240億で、そのうち640億がEngramパラメータ。1トークンあたり120億パラメータを有効化し、100万トークンのコンテキストを提供する。これにより、エンジニアリングチームは低コストのマルチモーダルモデルを新たな選択肢として評価できる。公式発表
技術面の要点は、キャッシュと生成にかかるコストを同時に抑えることだ。Tencentによると、このモデルは混合注意機構、LatentMoE、Engramを組み合わせ、KV cacheのサイズをHy4の6分の1に削減した。さらに事後学習では強化学習を用い、エンドツーエンドのタスクで平均出力トークン数を半減させた。推論ではmegakernel、4-bit量子化、DFlyを組み合わせ、デコード速度は毎秒150トークンを超えると公式に発表している。これらの数値をそのままデプロイ可能な容量やリクエスト遅延に換算することはできず、ハードウェア、バッチサイズ、入力長などの条件を確認する必要がある。技術説明
インターフェースについては、TokenHubに掲載されたモデルIDはhy4-flash。テキストと画像を入力として受け付け、テキストを出力する。関数呼び出し、構造化出力、キャッシュにも対応する。ページには最大入力960k、最大出力64k、コンテキスト長1024Kがそれぞれ記載されているため、統合時には各制限に応じてリクエストのトークン予算を設定する必要がある。標準価格は入力が100万トークンあたり0.5人民元、出力が2人民元、キャッシュヒットが0.02人民元。ページには期間限定の半額価格も掲載されている。TokenHubのモデルページ
OpenRouterにもtencent/hy4-flashが掲載されている。プロバイダーはTencent Cloudで、ツール呼び出しとJSON Schemaによる出力に対応することが確認できる。一方、同ページでは現在、EU域内ルーティングに非対応とされているため、データの域内保管が必要なチームは注意が必要だ。OpenRouterのモデルページ
エージェント用途で検証すべきなのは、タスク完了までの総コストだ。出力を短縮しても成功率を維持できるか、再試行後も価格面の優位性が残るかを確かめたい。Tencentはオープンウェイト化の計画を示しているが、発表では提供時期を明らかにしていない。エンジニアリングチームは今後、再現可能な性能テスト、長文コンテキストでの精度、ウェイト公開の進捗を確認するとよい。公式発表