NVIDIA H100 NVL
NVIDIA® H100 NVL
SKU: NVH100NVLTCGPU-KIT
NVIDIA H100 NVL
Her Veri Merkezi için Benzeri Görülmemiş Performans, Ölçeklenebilirlik ve Güvenlik
H100 NVL, ana akım PCIe tabanlı sunucu sistemlerinde Büyük Dil Modellerinin desteğini ölçeklendirmek için tasarlanmıştır. Artırılmış ham performans, daha büyük, daha hızlı HBM3 bellek ve köprüler aracılığıyla NVLink bağlantısı ile 8x H100 NVL ile yapılandırılan ana akım sistemler, GPT3-175B LLM veriminde HGX A100 sistemlerinden 12 kata kadar daha iyi performans gösterir.
H100 NVL, standart ana akım sunucuların yüksek performanslı büyük dil modeli üretken yapay zeka çıkarımı sağlamasına olanak tanırken, iş ortaklarına ve çözüm sağlayıcılara en hızlı pazara sunma süresi ve ölçek büyütme kolaylığı sağlıyor.
FP64 |
68 TFLOPS |
|---|---|
FP64 Tensor Core |
134 TFLOPS |
FP32 |
134 TFLOPS |
TF32 Tensor Core |
1979 TFLOPS | Sparsity |
BFLOAT16 Tensor Core |
3958 TFLOPS | Sparsity |
FP16 Tensor Core |
3958 TFLOPS | Sparsity |
FP8 Tensor Core |
7916 TFLOPS | Sparsity |
INT8 Tensor Core |
7916 TOPS | Sparsity |
GPU Memory |
188GB HBM3 |
GPU Memory Bandwidth |
3938 GB/sec |
Maximum Power Consumption |
2x 350-400W (Configurable) |
1. L4’ün FP8’i T4’ün FP16’sına kıyasla.
2. 720p30’da 8x L4 AV1 düşük gecikmeli P1 ön ayar kodlaması.
3. 8x L4 vs 2S Intel 8362 CPU sunucu performans karşılaştırması: CV-CUDA ön ve son işleme, kod çözme, çıkarım (SegFormer), kodlama, TRT 8.6 ile uçtan uca video işlem hattı vs OpenCV kullanan sadece CPU işlem hattı.