OpenAI、Jalapeñoの実測結果を公開：700W推論ASICが3つのオープンモデルでレイテンシと電力当たりスループットの優位性を達成

OpenAIは、初代の自社開発推論ASIC「Jalapeño」の初回測定結果を公開した。テストにはSemiAnalysisのInferenceXを使用し、公称8K入力、1K出力、Single Token Prediction（STP）の条件でGPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tを実行した。比較指標はチップ単体のピーク演算性能ではなく、指定されたレイテンシを満たしながら、1kW当たりに処理できるmixed tokenワークロードの量である。

Jalapeñoの定格消費電力は700Wだが、OpenAIによると、3つのテストにおける持続消費電力はいずれも550W以下だった。選定されたNVIDIAシステムと比べ、ピーク時の電力当たりスループットは1.5～1.9倍、エンドツーエンドのレイテンシは1.7～3.6倍改善した。DeepSeek R1のテストでは、1kW当たり19,641 mixed TPSを記録し、GB300の11,781を上回った。最小Inter-Token Latencyは1.43msで、ユーザー1人当たり毎秒約700 tokenに相当する。Kimi K2.5では、ピーク時の電力当たり性能が約1.5倍、エンドツーエンドのレイテンシが3.4倍改善した。

アーキテクチャの要点は、prefill、decode、KV cache、チップ間通信を、明示的に構成可能な同一のシステムドメイン内に置き、モデル状態の移動を減らすことにある。プログラミングモデルでは、ローカルtensor、明示的な通信、予測可能な同期によって処理を記述し、コンパイラとAIがマッピングやスケジューリングを行いやすくしている。OpenAIによると、CodexとGPT‑Astraを組み合わせ、2カ月以内に追加の3モデル向け主要最適化を完了した。一部のGPT‑OSS attentionおよびMoE blockでは、AIが生成した実装が既存の手書きkernelより1.5～1.8倍高速だった。ただし、これはモデル全体の高速化率ではない。

結果は引き続き慎重に解釈する必要がある。SemiAnalysisは現地でInferenceXの実行を確認したものの、完全なテストスイートを独自に実行したわけではない。生データもOpenAIから提供されたものであり、8K/1Kの単一ターンワークロードでは、実際のagentにおける長いコンテキスト、shared prefix、routing、KV-cacheへの負荷を網羅していない。JalapeñoはHBM4を採用しているため、すでに出荷が始まっているRubin世代と比較するほうが、Blackwellとの比較より妥当だろう。現時点でチップは外販されておらず、OpenAIが社内導入を開始するのは年末までの予定だ。今後は、量産歩留まり、ラックレベルの消費電力、AgentXのスコア、本番サービスの可用性を注視する必要がある。