GLM-5.3-Flash、ハイブリッド疎／線形アテンションで100万token推論のコストを圧縮

智譜は、GLM-5.3-Flashのアーキテクチャ、デプロイ方法、評価データに関する追加情報を公開した。モデルの総パラメータ数は320Bだが、Mixture-of-Experts（MoE）経路でtokenごとにアクティブ化されるのは18Bのみで、層数も同規模のGLM-4.5シリーズの92層から45層に削減されている。GLM-5.3を直接縮小したモデルではなく、30T-tokenの画像・テキストコーパスで改めて事前学習したネイティブ・マルチモーダル基盤モデルであり、テキスト、画像、動画、文書を入力できる。

長いコンテキストへの対応は、今回最も具体的なエンジニアリング上の変更点だ。モデルは線形アテンションと疎アテンションを交互に使用する。前者は状態モデリングによって局所的な依存関係を保持し、後者は軽量なindexerを用いてグローバルコンテキストから関連する位置を選択する。最大100万tokenを処理する際には、IndexPoolがキャッシュ済みの4つのkeyベクトルを重み付けし、1つに圧縮する。智譜によると、GLM-5.3と比べてアテンション計算量は約3分の1、KV cacheは約4.4分の1に削減される。サーバー側ではさらに、ReplaySSM、W8A8、INT8／FP8／BF16の混合cacheに加え、encoding、prefill、decodeを分離したデプロイ構成を採用している。

重みはMIT LicenseでHugging Faceに公開され、現在はTransformers、vLLM、SGLang、KTransformers、TokenSpeedで起動できる。また、`reasoning_effort`を3段階で制御できる。モデルカードでは、明示的に指定しない場合は最高の推論強度が使用されると注意喚起している。チャットのワークロードでは`clear_thinking=true`の設定が推奨され、設定しなければ、マルチターンでのデプロイにおけるレイテンシーや出力動作が想定と異なる可能性がある。

公式発表では、Terminal Bench 2.1、DeepSWE v1.1、Toolathlon Verifiedで、それぞれ84.3、63.4、78.4を記録したとしているが、いずれもベンダーによる評価である。Artificial Analysisのデータでは、APIプロバイダーによって生成速度に10倍を超える差が生じることが示されており、モデルアーキテクチャは実効スループットを左右する要素の一部にすぎない。エンジニアリングチームは次に、量子化後のビジョンおよびツール利用能力、実際のKV使用量、同一の推論強度におけるコストと精度を確認すべきだ。総重みが320Bであるため、完全なセルフホスティングも依然としてサーバー級のワークロードとなる。