OpenAIのJalapeño、3つのオープンモデルでワット当たりスループットが1.5～1.9倍に。ただし長コンテキストのエージェント負荷は未検証

OpenAIは、初代の自社開発推論チップJalapeñoについて、最初のInferenceXテスト結果を公開した。GPT-OSS-120B、DeepSeek R1 670B、Kimi K2.5 1Tを対象とする、8K入力・1K出力のシングルターン負荷において、Jalapeñoは単一token予測で動作し、multi-token prediction、speculative decoding、prefill／decode分離を使用しなかった。それでもピーク時のワット当たりスループットは比較対象システムの1.5～1.9倍、エンドツーエンドレイテンシは1.7～3.6倍短かった。

DeepSeek R1を例にすると、OpenAIの報告では、Jalapeñoは1kW当たり19,641 mixed tokens/sを処理でき、比較対象のGB300は11,781だった。エンドツーエンドレイテンシは、それぞれ1.65秒と5.99秒だった。これらの数値はチップの定格電力で正規化されている。Jalapeñoは700W、GB300は1,400Wで、OpenAIによれば、テスト中のJalapeñoの持続消費電力は550Wを超えなかった。

このアーキテクチャの要点は、prefillとdecodeを別々のチッププールに固定的に割り当てることではない。同種のコンピューティングリソース、シャーディングされたHBM、ローカライズされたKV cache、専用collective networkを利用し、データ移動を削減することにある。SemiAnalysisによると、量産版はHBM4を採用し、パッケージ当たりのメモリ帯域幅は15.4TB/sとなり、2,048基のXPUからなるラック間インターコネクトドメインへ拡張される。OpenAIはまた、Codexが当初の計画に含まれていなかった3モデルの移植を支援し、一部のattentionおよびMoEブロックのkernelが人手で実装したバージョンより1.5～1.8倍高速だったとしている。ただし、これはモデル全体の高速化率ではない。

制約は非常に重要だ。SemiAnalysisはラボでテストの実行を確認したものの、生データは依然としてOpenAIから提供されたものであり、完全なテストスイートも実行されていない。現在の8K／1Kシングルターン負荷は、router、prefix cache、KV offload、マルチターン同時実行に負荷をかけるAgentXを代表するものではない。比較対象間では、ソフトウェアの成熟度やHBMの世代も完全には一致していない。エンジニアリングチームが次に注目すべきなのは、パッケージTDPだけではなく、量産版B0チップ、長コンテキストのエージェントトラジェクトリ、障害復旧、ラック全体の消費電力だ。