NVIDIA A100 Liquid Cooled
NVIDIA® A100 Liquid Cooled
SKU: NVA100TCGPU80L-KIT
SKU: NVA100TCGPU80L-KIT
PCIe için NVIDIA A100 Sıvı Soğutmalı Tensör Çekirdekli GPU, yapay zeka, veri analizi ve yüksek performanslı bilgi işlem (HPC) uygulamaları için dünyanın en yüksek performanslı elastik veri merkezlerini desteklemek üzere her ölçekte çok daha az güç kullanarak gereken performansı sunar. NVIDIA veri merkezi platformunun motoru olan A100, önceki NVIDIA Volta nesline göre 20 kata kadar daha yüksek performans sağlar. A100, Multi-Instance GPU (MIG) ile verimli bir şekilde ölçeklendirilebilir veya yedi izole GPU örneğine bölünebilir, bu da elastik veri merkezlerinin değişen iş yükü taleplerine dinamik olarak uyum sağlamasına olanak tanıyan birleşik bir platform sağlarken aynı zamanda sürdürülebilirliğe giden bir yol sunar.
Dünya çapında yapay zeka ve HPC çalıştıran tüm CPU’ya dayalı sunucuların GPU hızlandırmalı sistemlere dönüştürülmesi, yılda 11 trilyon watt-saatlik devasa bir enerji tasarrufu sağlayacaktır ki bu da 1,5 milyondan fazla evin bir yılda tükettiği enerjiye eşittir. Sıvı soğutma, veri merkezlerinin içindeki havayı soğutmak için yılda milyonlarca galon suyu buharlaştıran soğutucuları ortadan kaldırarak, önemli sıcak noktalara odaklanan kapalı sistemlerde az miktarda sıvıyı geri dönüştüren sistemler sunarak su ve güç tasarrufu sağlar. NVIDIA, sıvı soğutmalı veri merkezlerinin 1,15 PUE (Güç Kullanım Etkinliği) değerine ulaşabileceğini ve bu değerin hava soğutmalı benzerleri için 1,6 olan değerin çok altında olduğunu tahmin etmektedir. Sıvı soğutmalı veri merkezleri aynı alana iki kat daha fazla bilgi işlem performansı da sığdırabilir. Bunun nedeni, NVIDIA A100 Sıvı Soğutmalı GPU’nun yalnızca bir PCIe yuvası kullanması, pasif hava soğutmalı A100 GPU kartının ise iki yuvaya ihtiyaç duymasıdır; bu da %66’ya kadar daha az raf gereksinimi ve her raf için %28 daha düşük güç tüketimi sağlar.
CUDA Cores |
6912 |
---|---|
Streaming Multiprocessors |
108 |
GPU Memory |
80GB HBM2e | ECC on by default |
Memory Interface |
5120-bit |
Memory Bandwidth |
1555 GB/s |
NVLink |
2-way | Standard or Wide Slot Spacing |
MIG (Multi-Instance GPU Support) |
Yes | Up to 7 GPU Instances |
FP64 |
9.7 TFLOPS |
FP64 Tensor Core |
156 TFLOPS | 312 TFLOPS Sparsity |
FP32 |
19.5 TFLOPS |
TF32 Tensor Core |
156 TFLOPS | 312 TFLOPS Sparsity |
FP16 Tensor Core |
312 TFLOPS | 624 TFLOPS Sparsity |
INT8 Tensor Core |
624 TOPS | 1248 TOPS Sparsity |
INT4 Tensor Core |
1248 TOPS | 2496 TOPS Sparsity |
Thermal Solution |
Liquid Cooled |
vGPU Support |
NVIDIA AI Enterprise |
System Interface |
PCI Express 4.0 x16 |
Total Board Power |
300 W |
1. L4’ün FP8’i T4’ün FP16’sına kıyasla.
2. 720p30’da 8x L4 AV1 düşük gecikmeli P1 ön ayar kodlaması.
3. 8x L4 vs 2S Intel 8362 CPU sunucu performans karşılaştırması: CV-CUDA ön ve son işleme, kod çözme, çıkarım (SegFormer), kodlama, TRT 8.6 ile uçtan uca video işlem hattı vs OpenCV kullanan sadece CPU işlem hattı.
MIG, çıplak metal ve sanallaştırılmış ortamlarda kullanılabilir ve LXC, Docker, CRI-O, Containered, Podman ve Singularity gibi tüm önemli çalışma zamanlarını destekleyen NVIDIA’nın Container Runtime’ı tarafından desteklenir. Her MIG örneği Kubernetes’te yeni bir GPU türüdür ve Kubernetes için NVIDIA Devise Eklentisi aracılığıyla Red hat OpenShift, VMware Project Pacific ve diğerleri gibi tüm Kubernetes dağıtımlarında şirket içinde ve genel bulutlarda kullanılabilir olacaktır. Yöneticiler ayrıca NVIDIA AI Enterprise ile MIG örneklerinde Red hat RHEL/RHV ve VMware ESXi gibi KVM tabanlı hipervizörler dahil olmak üzere hipervizör tabanlı sanallaştırmadan da faydalanabilir..