GLM-5.3-Flash、線形／疎混合アテンションでアクティブパラメータを18Bに削減

Z.aiは8月26日、[GLM-5.3-Flashの重み](https://huggingface.co/zai-org/GLM-5.3-Flash)をリリースし、公開した。これは既存モデルの量子化版ではなく、再事前学習されたネイティブなテキスト・画像・動画モデルだ。総パラメータ数は320Bで、MoEルーティングによりtokenごとに約18Bをアクティブ化する。ネットワークもGLM-4.5シリーズの92層から45層へ縮小された。公式によれば、学習データは30Tのマルチモーダルtokenで構成される。

中核となる変更は、線形アテンションと疎なグローバル検索を交互に使用する点だ。前者は固定サイズの状態に局所的な依存関係を保持し、コンテキスト長に比例してKV cacheが増大するのを防ぐ。後者は軽量なインデクサーを通じて長距離の情報を取得する。新しいIndexPoolは、さらに加重プーリングによって4つのインデックスkeyを1つに圧縮し、100万tokenの条件下でインデックス作成のレイテンシとメモリ使用量を削減する。公式は各層・各head単位で計算し、完全版GLM-5.3と比べて、アテンション演算量と平均BF16 KV cacheをそれぞれ3.0分の1、4.4分の1に削減したとしている。ただし、そのcacheは依然としてKimi-K3やDeepSeek-V4-Flashより大きい。

能力面では、ベンダーの報告によると、DeepSWE v1.1のスコアはGLM-5.2の46.2から63.4へ、AutomationBenchは26.2から48.8へ上昇した。テストごとに400Kから1Mまで異なるコンテキスト長と、最長6時間の実行予算が使われ、一部の項目ではLLM-as-a-Judgeも採用されている。そのため、この表を統一されたコスト条件下での独立ランキングとみなすことはできない。

エンジニアリング面では、すでにvLLM、SGLang、Transformers、TokenSpeed、KTransformersを通じてデプロイでき、推論予算を制御する`reasoning_effort`も提供される。Z.aiの本番システムでは、マルチモーダルエンコード、prefill、decodeを独立したリソースプールに分離し、W8A8、混合cache量子化、テンソル並列を組み合わせている。今後は、100万tokenにおける精度、実際のKV使用量、スループットを第三者が再現できるかを注視すべきだ。また、320Bという重みの規模を考えると、「18Bがアクティブ」という表現は、モデル全体を単一GPUのメモリに常駐できることを意味しない。