推論系統
Fast Gemma検証版が毎秒510トークンを突破、単一A10Gでスライディングウィンドウ注意機構とMTPを組み合わせ高速化
VIDRAFTは、Fast Gemma Challengeで検証済みの最高性能構成を公開した。Gemma 4 E4Bは単一のNVIDIA A10G上で510.58 tokens/sを達成し、perplexityを2.3930に維持した。複数の推論最適化を組み合わせた成果だが、テスト条件は単一ストリーム、固定ハードウェア、非公開プロンプトセットであり、そのまま本番環境のスループットと同一視することはできない。