NVIDIA、メモリコントローラをNVHBMのbase dieへ移し、カスタムAI XPU向けに最大25%の面積を確保

NVIDIAは8月26日、NVLink FusionにNVHBMを追加し、カスタムAIアクセラレータを設計するクラウド事業者向けに、NVIDIAが定義したHBM base die、物理インターフェース（PHY）、メモリコントローラを提供すると発表した。従来の構成ではコントローラをXPUの演算ダイに配置するが、NVHBMではHBMスタック底部のロジックダイに統合する。これによりデータパスを短縮すると同時に、従来メモリI/Oが占有していた先端プロセス上の面積を、行列演算、キャッシュ、その他の専用ユニットへ振り向けられる。

NVIDIAの設計目標によると、NVHBMは標準HBM4Eと比べてメモリ帯域幅を最大30%向上させ、HBMの消費電力を15%削減し、XPUダイ面積を最大25%解放できる。同社はさらに、空いた面積を演算ユニットへ再配分することで、エンドツーエンドのXPU性能を約30%高められると見積もっている。ただし、これらの数値は特定の統合構成と、シミュレーションまたは社内検証の結果を示すものであり、すべてのモデルやパッケージ、メモリボトルネックの度合いが異なるワークロードへそのまま当てはめることはできない。

NVHBMには、サプライチェーンとプラットフォーム統合という別の意義もある。NVIDIAは、複数のメモリメーカーが検証済みの共通実装を提供できるようにし、顧客がbase dieを個別に設計・検証する負担を軽減するとしている。Amazon傘下のAnnapurna Labsが最初に公表されたパートナーで、今後のカスタムチップにこの技術とNVLink scale-upアーキテクチャを採用する。ただし両社は、採用するTrainiumの世代、メモリ容量、スタック数、量産時期、実際のシステム構成をまだ明らかにしていない。

アクセラレータ開発チームにとって、これは差し替え可能な汎用HBMアップグレードではなく、チップ、パッケージ、ファームウェア、NVLinkラックの設計段階から共同で導入する必要があるセミカスタム部品だ。今後は、メモリサプライヤーの一覧、歩留まり、冷却コストに加え、推論時のKV cache、expert parallelism、大規模学習における通信性能について、第三者による実測結果を注視する必要がある。実製品が出荷されるまでは、公表された帯域幅と性能の向上幅は、あくまでメーカー側の目標として捉えるべきだ。