推論系統
Fast Gemma検証版が毎秒510トークンを突破、単一A10Gでスライディングウィンドウ注意機構とMTPを組み合わせ高速化
VIDRAFTは、Fast Gemma Challengeで検証済みの最高性能構成を公開した。Gemma 4 E4Bは単一のNVIDIA A10G上で510.58 tokens/sを達成し、perplexityを2.3930に維持した。複数の推論最適化を組み合わせた成果だが、テスト条件は単一ストリーム、固定ハードウェア、非公開プロンプトセットであり、そのまま本番環境のスループットと同一視することはできない。
Fast Gemma Challengeでは、固定された単一のNVIDIA A10G上で`google/gemma-4-E4B-it`をサービングすることが求められ、モデルの変更や機能の無効化は認められず、perplexityを約2.42未満に抑える必要がある。VIDRAFTは8月3日に完全な構成を公開した。非公開プロンプトによる128回の再実行をすべて通過し、スループットは510.58 tokens/s、PPLは2.3930だった。自己申告では535.91 tokens/sに達した結果もあったが、品質基準を超過したため検証されなかった。
この構成は、単一の中核的な最適化によるものではない。注意機構のウィンドウを188トークンに縮小し、デコード段階でKV cacheを読み出す際のメモリ帯域幅を削減した。さらに、7個の投機トークンを生成するmulti-token prediction drafterにより、各デコードステップを高速化した。推論パスにはこのほか、INT4ウェイト、枝刈りしたLM head、CUDA graph、融合型sparse argmax、split-KV検証、遅延デトークナイズなどの調整も加えられている。テスト前には64個の単一トークン合成プロンプトを入力し、JITとCUDA graph captureを事前に完了させた。チームは、これにより計測中に約15 tokens/sの性能低下を回避できたと見積もっている。
エンジニアリング面で注目すべき点は、非公開プロンプトによる再実行で再現できなかったbenchmark precacheを無効化し、`manifest.json`、サーバープログラム、ウェイトbucketを公開したことだ。これにより、単なるランキングのスクリーンショットよりも数値を監査しやすくしている。ただし、188トークンのスライディングウィンドウは長距離依存の挙動を変える可能性がある。また、PPLのしきい値は、主催者が指定した品質の代理指標を満たしていることしか意味しない。次の段階では、異なるプロンプト長、並列度、GPU上でTTFT、テールレイテンシ、GPUメモリ使用量、出力品質を測定し、これらの手法を単一ストリームの競技環境から実運用のサービスへ移植できるか確認する必要がある。