AI 晶片與資料中心基礎設施
NVIDIA 把記憶體控制器移入 NVHBM base die，為客製 AI XPU 騰出最多 25%面積
NVHBM 以客製 base die 與 PHY 把部分記憶體介面邏輯移離運算晶粒，並納入 NVLink Fusion。NVIDIA 宣稱它較標準 HBM4E 提高最多 30%頻寬、降低15%記憶體功耗，但尚未公布量產晶片實測。
NVIDIA 於 8 月 26 日為 NVLink Fusion 加入 NVHBM，向設計客製 AI 加速器的雲端業者提供由 NVIDIA 定義的 HBM base die、實體介面及記憶體控制器。傳統配置把控制器放在 XPU 運算晶粒；NVHBM 則把它整合進 HBM 堆疊底部的邏輯晶粒，縮短資料路徑，同時把原本被記憶體 I/O 佔用的先進製程面積還給矩陣運算、快取或其他專用單元。
依 NVIDIA 的設計目標，NVHBM 相對標準 HBM4E 可提供最多 30%更高記憶體頻寬、降低15% HBM 功耗，並釋出最多25% XPU 晶粒面積；該公司進一步估計，重新投入計算單元後，端到端 XPU 效能可提高約30%。這些數字描述的是特定整合方案及模擬或內部驗證結果，不能直接套用到所有模型、封裝或記憶體受限程度不同的工作負載。
NVHBM 的另一層意義是供應鏈與平台整合。NVIDIA 表示會讓多家記憶體廠提供經驗證的共同實作，減少客戶分別設計、驗證 base die 的工作；Amazon 旗下 Annapurna Labs 是首個公開合作夥伴，並會把這項技術與 NVLink scale-up 架構用於後續客製晶片。不過雙方尚未交代採用的 Trainium 世代、記憶體容量、堆疊數量、量產日期或實際系統配置。
對加速器團隊而言，這不是可插拔的通用 HBM 升級，而是必須在晶片、封裝、韌體與 NVLink 機架設計階段共同導入的半客製元件。接下來應觀察記憶體供應商名單、良率與散熱成本，以及第三方在推論 KV cache、專家平行和大型訓練通訊上的實測；在實體產品出貨前，宣稱的頻寬與效能增益仍應視為廠商目標。