AI 基礎設施
NVIDIA Groq 3 LPXが量産開始：静的スケジューリングにより100Kコンテキストで毎秒3,431出力tokenを実現
Groq 3 LPXは、256基のLP30、128GBのSRAM、コンパイラによって事前スケジューリングされたチップ間転送を統合した低レイテンシdecodeシステムだ。第三者テストでは、長いコンテキストにおいて既存の公開endpointを上回る速度を示したが、コスト、並行処理時のthroughput、本番サービスでの性能はまだ公開されていない。
NVIDIAはGroq 3 LPXの量産開始を発表した。その位置付けはVera Rubin NVL72を置き換えることではなく、agentic inferenceで最も高速化が難しい低batch decodeフェーズを補完することにある。このシステムでは、Rubin GPUがprefill、長いコンテキスト、KV cacheを処理し、token単位の生成をLPXに引き継がせることができる。別の構成では、attentionをGPU側に残してLPXがFFNを実行するほか、LPXをspeculative decoding用の外部draft modelとして使用することも可能だ。
LPXラックは256基のLP30 LPUで構成され、合計128GBのSRAMを提供する。各チップは112Gbpsのpoint-to-point接続を96本備える。重要なのは単に帯域幅を増やしたことではなく、決定論的な実行モデルによって、コンパイラがすべての計算とデータ転送を事前にスケジューリングし、runtime arbitrationを不要にした点だ。行列乗算の結果は320-byteのvectorに分割でき、計算と並行してチップ間で転送されるため、小batchのtensor parallelismにおいて固定通信レイテンシが性能上の利点を相殺しやすい問題を軽減する。
Artificial AnalysisはNVIDIAのデータセンターでGemma 4 31Bをテストした。100Kの入力コンテキストにおける出力速度の中央値は毎秒3,431 tokenで、当時最速だった公開endpointの870 tokenを上回った。10Kコンテキストでは毎秒3,382 tokenだった。テストでは統一された`o200K_base` tokenizerを用いてtoken数を計測しており、出力精度やモデル品質の低下はなかったとしている。NVIDIAが独自に実施したSPEED-Benchでは、別途毎秒4,767 tokenという中央値を記録したが、これは同等条件の独立テストではない。
この設計は、数十回から数百回のtool callを必要とするagentにとって魅力的だ。コンテキストが増え続けても、decodeは対話的な速度を維持できる。しかし、現在示されている数値は、単一モデル、特定のラック構成、低batchにおける性能に限られており、multi-tenant環境での並行処理、prefillからKV cacheを引き継ぐ際のコスト、消費電力、100万token当たりの価格は明らかにされていない。エンジニアリングチームは次に、NebiusやGroqなどの実サービスにおけるレイテンシのpercentileと、異なるMoE、量子化形式、大batchでも同様の優位性を維持できるかを注視すべきだ。