Skip to main content
NVIDIA A100 Liquid Cooled
NVIDIA® A100 Liquid Cooled

SKU: NVA100TCGPU80L-KIT

Bizimle İletişime Geçin

NVIDIA A100 SIVI SOĞUTMALI PCIe

Yüksek Performanslı, Yeşil Veri Merkezleri için Müşteri Taleplerini Karşılamak


PCIe için NVIDIA A100 Sıvı Soğutmalı Tensör Çekirdekli GPU, yapay zeka, veri analizi ve yüksek performanslı bilgi işlem (HPC) uygulamaları için dünyanın en yüksek performanslı elastik veri merkezlerini desteklemek üzere her ölçekte çok daha az güç kullanarak gereken performansı sunar. NVIDIA veri merkezi platformunun motoru olan A100, önceki NVIDIA Volta nesline göre 20 kata kadar daha yüksek performans sağlar. A100, Multi-Instance GPU (MIG) ile verimli bir şekilde ölçeklendirilebilir veya yedi izole GPU örneğine bölünebilir, bu da elastik veri merkezlerinin değişen iş yükü taleplerine dinamik olarak uyum sağlamasına olanak tanıyan birleşik bir platform sağlarken aynı zamanda sürdürülebilirliğe giden bir yol sunar.

Dünya çapında yapay zeka ve HPC çalıştıran tüm CPU’ya dayalı sunucuların GPU hızlandırmalı sistemlere dönüştürülmesi, yılda 11 trilyon watt-saatlik devasa bir enerji tasarrufu sağlayacaktır ki bu da 1,5 milyondan fazla evin bir yılda tükettiği enerjiye eşittir. Sıvı soğutma, veri merkezlerinin içindeki havayı soğutmak için yılda milyonlarca galon suyu buharlaştıran soğutucuları ortadan kaldırarak, önemli sıcak noktalara odaklanan kapalı sistemlerde az miktarda sıvıyı geri dönüştüren sistemler sunarak su ve güç tasarrufu sağlar. NVIDIA, sıvı soğutmalı veri merkezlerinin 1,15 PUE (Güç Kullanım Etkinliği) değerine ulaşabileceğini ve bu değerin hava soğutmalı benzerleri için 1,6 olan değerin çok altında olduğunu tahmin etmektedir. Sıvı soğutmalı veri merkezleri aynı alana iki kat daha fazla bilgi işlem performansı da sığdırabilir. Bunun nedeni, NVIDIA A100 Sıvı Soğutmalı GPU’nun yalnızca bir PCIe yuvası kullanması, pasif hava soğutmalı A100 GPU kartının ise iki yuvaya ihtiyaç duymasıdır; bu da %66’ya kadar daha az raf gereksinimi ve her raf için %28 daha düşük güç tüketimi sağlar.

Performance Highlights

CUDA Cores

6912

Streaming Multiprocessors

108

GPU Memory

80GB HBM2e | ECC on by default

Memory Interface

5120-bit

Memory Bandwidth

1555 GB/s

NVLink

2-way | Standard or Wide Slot Spacing

MIG (Multi-Instance GPU Support)

Yes | Up to 7 GPU Instances

FP64

9.7 TFLOPS

FP64 Tensor Core

156 TFLOPS | 312 TFLOPS Sparsity

FP32

19.5 TFLOPS

TF32 Tensor Core

156 TFLOPS | 312 TFLOPS Sparsity

FP16 Tensor Core

312 TFLOPS | 624 TFLOPS Sparsity

INT8 Tensor Core

624 TOPS | 1248 TOPS Sparsity

INT4 Tensor Core

1248 TOPS | 2496 TOPS Sparsity

Thermal Solution

Liquid Cooled

vGPU Support

NVIDIA AI Enterprise

System Interface

PCI Express 4.0 x16

Total Board Power

300 W

 

1. L4’ün FP8’i T4’ün FP16’sına kıyasla.
2. 720p30’da 8x L4 AV1 düşük gecikmeli P1 ön ayar kodlaması.
3. 8x L4 vs 2S Intel 8362 CPU sunucu performans karşılaştırması: CV-CUDA ön ve son işleme, kod çözme, çıkarım (SegFormer), kodlama, TRT 8.6 ile uçtan uca video işlem hattı vs OpenCV kullanan sadece CPU işlem hattı.

NVIDIA Amper Tabanlı Mimari

  • A100 Sıvı Soğutmalı, büyük ve küçük iş yüklerini hızlandırır. İster bir A100 GPU’yu daha küçük örneklere bölmek için MIG, ister büyük ölçekli iş yüklerini hızlandırmak için birden fazla GPU’yu bağlamak için NVLink kullanılsın, A100 en küçük işten en büyük çok düğümlü iş yüküne kadar farklı boyutlardaki uygulamaların ihtiyaçlarını kolayca karşılar.

Yapay Zeka için TF32: 20 kat daha yüksek performans, Sıfır Kod Değişikliği

  • Yapay zeka ağları ve veri kümeleri katlanarak genişlemeye devam ettikçe, bilgi işlem iştahları da benzer şekilde artıyor. Düşük hassasiyetli matematik büyük performans artışları getirmiştir, ancak tarihsel olarak bazı kod değişiklikleri gerektirmiştir. A100 Sıvı Soğutmalı, tıpkı FP32 gibi çalışan ve herhangi bir kod değişikliği gerektirmeden yapay zeka için 20 kat daha yüksek FLOPS sağlayan yeni bir hassasiyet olan TF32’yi getiriyor. NVIDIA’nın otomatik karma hassasiyet özelliği, FP16 hassasiyetini kullanarak yalnızca bir satır ek kodla 2 kat daha fazla performans artışı sağlar. A100 Tensör Çekirdekleri ayrıca BFLOAT16, INT8 ve INT4 hassasiyeti için destek içerir ve A100’ü hem yapay zeka eğitimi hem de çıkarım için inanılmaz derecede çok yönlü bir hızlandırıcı haline getirir.

HBM2e

  • 80 gigabayt (GB) yüksek bant genişliğine sahip bellek (HBM2e) ile A100 Sıvı Soğutmalı, 1,5 TB/sn’lik gelişmiş ham bant genişliğinin yanı sıra yüzde 95 ile daha yüksek dinamik rastgele erişimli bellek (DRAM) kullanım verimliliği sunar. A100, önceki nesle göre 1,7 kat daha yüksek bellek bant genişliği sunar.

Yapısal Seyreklik

  • Yapay zeka ağları büyüktür ve milyonlarca ila milyarlarca parametreye sahiptir. Doğru tahminler için bu parametrelerin hepsine ihtiyaç yoktur ve bazıları, doğruluktan ödün vermeden modelleri “seyrek” hale getirmek için sıfıra dönüştürülebilir. A100 Sıvı Soğutmalı Tensör Çekirdekleri seyrek modeller için 2 kata kadar daha yüksek performans sağlayabilir. Seyreklik özelliği yapay zeka çıkarımına daha kolay fayda sağlarken, model eğitiminin performansını da artırabilir.

Her Derin Öğrenme Çerçevesi, 700’den Fazla GPU Hızlandırmalı Uygulama

  • NVIDIA A100 Sıvı Soğutmalı Tensör Çekirdekli GPU, derin öğrenme, HPC ve veri analitiği için NVIDIA veri merkezi platformunun önemli bir bileşenidir. Her büyük derin öğrenme çerçevesini hızlandırır ve 700’den fazla HPC uygulamasını hızlandırır. Masaüstü bilgisayarlardan sunuculara ve bulut hizmetlerine kadar her yerde kullanılabilir ve hem çarpıcı performans kazanımları hem de maliyet tasarrufu fırsatları sunar.

Üçüncü Nesil Tensör Çekirdekleri

Çok Örnekli GPU (MIG)

  • Her AI ve HPC uygulaması hızlandırmadan yararlanabilir, ancak her uygulamanın tam bir A100 Sıvı Soğutmalı performansına ihtiyacı yoktur. Multi-Instance GPU (MIG) ile her A100, kendi yüksek bant genişliğine sahip belleği, önbelleği ve işlem çekirdekleriyle donanım düzeyinde tamamen izole edilmiş yedi adede kadar GPU örneğine bölünebilir. Artık geliştiriciler büyük ve küçük tüm uygulamaları için çığır açan hızlandırmaya erişebilir ve garantili hizmet kalitesi (QoS) elde edebilir. BT yöneticileri, optimum kullanım için doğru boyutta GPU hızlandırma sunabilir ve her kullanıcı ve uygulamaya erişimi genişletebilir.

    MIG, çıplak metal ve sanallaştırılmış ortamlarda kullanılabilir ve LXC, Docker, CRI-O, Containered, Podman ve Singularity gibi tüm önemli çalışma zamanlarını destekleyen NVIDIA’nın Container Runtime’ı tarafından desteklenir. Her MIG örneği Kubernetes’te yeni bir GPU türüdür ve Kubernetes için NVIDIA Devise Eklentisi aracılığıyla Red hat OpenShift, VMware Project Pacific ve diğerleri gibi tüm Kubernetes dağıtımlarında şirket içinde ve genel bulutlarda kullanılabilir olacaktır. Yöneticiler ayrıca NVIDIA AI Enterprise ile MIG örneklerinde Red hat RHEL/RHV ve VMware ESXi gibi KVM tabanlı hipervizörler dahil olmak üzere hipervizör tabanlı sanallaştırmadan da faydalanabilir..

Yeni Nesil NVLink

  • NVIDIA A100 Sıvı Soğutmalı NVLink uygulaması, enerji verimliliğini artırırken tek bir sunucuda mümkün olan en yüksek uygulama performansını ortaya çıkarmak için 600 GB/sn’ye kadar önceki nesle kıyasla 2 kat daha yüksek verim sunar. İki NVIDIA A100 Sıvı Soğutmalı kart NVLink aracılığıyla köprülenebilir ve birden fazla NVLink bağlantılı kart çifti tek bir sunucuda bulunabilir (sayı sunucu muhafazasına, termallere ve güç kaynağı kapasitesine göre değişir).

Yapısal Seyreklik

  • Yapay zeka ağları büyüktür ve milyonlarca ila milyarlarca parametreye sahiptir. Doğru tahminler için bu parametrelerin hepsine ihtiyaç yoktur ve bazıları, doğruluktan ödün vermeden modelleri “seyrek” hale getirmek için sıfıra dönüştürülebilir. A100 Sıvı Soğutmalı Tensör Çekirdekleri seyrek modeller için 2 kata kadar daha yüksek performans sağlayabilir. Seyreklik özelliği yapay zeka çıkarımına daha kolay fayda sağlarken, model eğitiminin performansını da artırabilir.

Sanallaştırma Yetenekleri

  • NVIDIA AI Enterprise ile yapay zeka, derin öğrenme ve yüksek performanslı bilgi işlem (HPC) gibi sanallaştırılmış bilgi işlem iş yükleri. NVIDIA A100 Sıvı Soğutmalı, mevcut V100/V100s Tensor Core GPU altyapısı için ideal bir yükseltme yoludur.