NVIDIA (NASDAQ: NVDA)在美國科羅拉多舉辦的 Supercomputing 2023(SC23)
HGX H200 平台,主要基於 NVIDIA Hopper 架構,配備 NVIDIA H200 Tensor Core GPU,並具有先進的記憶體,可為生成式人工智慧和高效能運算的工作負載處理大量資料。
NVIDIA H200 是首款提供 HBM3e 的 GPU,HBM3e 是速度更快、容量更大的記憶體,可加速生成式人工智慧和大型語言模型,同時推進高效能運算工作負載的科學運算。借助HBM3e,NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 記憶體,與其前代產品NVIDIA A100 相比,容量幾乎翻倍,頻寬增加 2.4 倍。
NVIDIA H200 將提供包含具有四路和八路配置的 NVIDIA HGX H200 伺服器主機板,其軟硬體皆與HGX 100系統相容。此外,NVIDIA H200亦可與今年8 月推出、採用 HBM3e 的 NVIDIA GH200 Grace Hopper 超級晶片搭配使用。透過這些選項,H200 可以部署在各種類型的資料中心中,包括本地、雲端、混合雲和邊緣環境。
HGX H200 由 NVIDIA NVLink 和 NVSwitch 高速互連技術驅動,包括針對超過 1750 億個參數的最大模型,進行大型語言模型訓練和推論。八路 HGX H200 提供超過 32 petaflops 的 FP8 深度學習運算和 1.1TB 總高頻寬記憶體,可在生成式人工智慧和高效能運算應用中實現最高性能。
當與搭載 NVLink-C2C互連技術的NVIDIA Grace CPU搭配使用時,H200創造了搭載 HBM3e 的GH200 Grace Hopper超級晶片,這其中包括NVIDIA AI Enterprise軟體套件,用於語音、推薦系統和大規模推論等工作負載。
全球系統製造商和雲端服務供應商將於2024年第二季開始提供NVIDIA H200。