NVLINK VE NVSWITCH

Gelişmiş Çoklu GPU İletişiminin Yapı Taşları

Daha Hızlı, Daha Ölçeklenebilir Ara Bağlantılara İhtiyaç

Sektörler arasında daha fazla geliştirici, AI gibi uygulamalar paralel hesaplamaya güveniyor ve çoklu GPU sistemlerine ihtiyaç duyuyor. Ancak, PCIe ile çok işlemcili yapılandırmalar büyük ve karmaşık sorunların çözümü için standart olsa da, PCIe bant genişliği genellikle bir darboğaz oluşturur. Gerekli olan daha hızlı, daha ölçeklenebilir çok işlemcili bir bağlantıdır.

NVLİNK

 

NVLink GPU bağlantılarına sahip Tesla V100

NVSWITCH

 

16 GPU arasında hepsi bir arada iletişim

NVLink ve NVSwitch Birlikte Nasıl Çalışır?

NVIDIA ® NVLink ™ ve NVIDIA NVSwitch ™ ile tanışın. NVLink yüksek hızlı, doğrudan GPU’dan GPU’ya bir bağlantıdır. NVSwitch, NVIDIA HGX-2 ™ gibi tek bir düğüm içinde hepsi bir arada GPU iletişimi sağlamak için birden fazla NVLink’i birleştirerek ara bağlantıyı bir üst seviyeye taşıyor. NVLink ve NVSwitch’in birleşimi NVIDIA’nın AI’nin sektör genelinde ilk ölçütü olan MLPerf’i kazanmasını sağladı .

NVLINK

NVLink Sistem Verimini Maksimize Ediyor
NVIDIA NVLink teknolojisi, çoklu GPU sistem yapılandırmaları için daha yüksek bant genişliği, daha fazla bağlantı ve gelişmiş ölçeklenebilirlik sağlayarak ara bağlantı sorunlarını giderir. Tek bir NVIDIA Tesla ® V100 GPU, saniyede 300 gigabayt (GB / sn) toplam bant genişliği için altı adede kadar NVLink bağlantısını destekler ve PCIe Gen 3’ün bant genişliği 10X’dir. NVIDIA DGX-1 ™ ve DGX-2 gibi sunucular avantaj sağlar ultra hızlı derin öğrenme eğitimi için daha fazla ölçeklenebilirlik sağlamak için bu teknolojinin NVLink ayrıca NVIDIA Quadro Sanal Veri Merkezi İş İstasyonu (Quadro vDWS) veya NVIDIA Sanal Bilgi İşlem Sunucusu (vComputeServer) yazılımı ile tek bir sanal makinede 8 adede kadar GPU’yu destekler .

GPU’dan GPU’ya Hızlandırmanın En Yüksek Seviyeleri

İlk olarak NVIDIA Pascal ™ mimarisiyle tanıtılan Tesla V100’deki NVLink, sinyal hızını her yönde 20’den 25 GB /s’ye çıkardı. İki GPU arasındaki bu doğrudan iletişim bağlantısı, yüksek performanslı bilgi işlem (HPC) ve AI’nın doğruluğunu ve yakınsamasını geliştirir ve PCIe’den daha hızlı bir büyüklükte hızlara ulaşır.

Yeni Performans Seviyeleri

NVLink, aynı şekilde yapılandırılmış bir sunucuya yüzde 70’e kadar daha fazla performans getirebilir. Önemli ölçüde daha yüksek bant genişliği ve azaltılmış gecikme süresi, daha büyük derin öğrenme iş yüklerinin büyüdükçe performansta ölçeklenmesini sağlar.

NVLink, PCIe’ye kıyasla% 70’e varan hız artışı sağlıyor

NVLink: GPU Sunucuları: 8xV100 PCIe ve 8xV100 NVLink ile PyTorch için Dual Xeon Gold 6140@2.30GHz veya E5-2698 v4@3.6GHz. SW kriterleri: MILC (APEX ortamı). HOOMD-Mavi (mikroküre), LAMMPS (LJ 2.5).

NVSWICH

NVSwitch: Tamamen Bağlı NVLink

Derin öğrenmenin hızlı bir şekilde benimsenmesi ve PCIe bant genişliği genellikle çoklu GPU sistem düzeyinde bir darboğaz oluşturduğundan daha hızlı ve daha ölçeklenebilir bir ara bağlantı ihtiyacını doğurmuştur.

NVIDIA NVSwitch, bu sorunu çözmek için NVLink’in gelişmiş iletişim yeteneğini temel alır. Tek bir sunucuda daha fazla GPU ve aralarında tam bant genişliği bağlantısı sağlayan bir GPU yapısı ile derin öğrenme performansını bir üst seviyeye taşır.

NVSwitch Derin Öğrenme ve HPC için> 2X Hızlandırma Sunuyor

2 HGX-1V sunucusunda çift soketli Xeon E5 2698v4 İşlemci, 8X V100 GPU bulunur. 4X 100 Gb IB bağlantı noktaları üzerinden bağlanan sunucular (DGX-1 üzerinde çalışır) | HGX-2 sunucusunda çift soketli Xeon Platinum 8168 İşlemci, 16X V100 GPU, NVSwitch (DGX-2 üzerinde çalışır) vardır.

Eşsiz Performans için Tam Bağlantı

NVSwitch, tek bir sunucu düğümünde 16 tam bağlantılı GPU’yu destekleyen ve inanılmaz bir 300 GB / s’de sekiz GPU çifti arasında eşzamanlı iletişim sağlayan ilk düğüm anahtarı mimarisidir. Bu 16 GPU, 0,5 terabayt birleşik bellek alanı ve 2 petaFLOPS derin öğrenme işlem gücüne sahip tek bir büyük ölçekli hızlandırıcı olarak kullanılabilir. NVSwitch’e sahip tek bir HGX-2 veya DGX-2 sistemi, InfiniBand ile bağlı 2 HGX-1 veya DGX-1 sisteminden 2,7 kat daha fazla uygulama performansı sunar.

NVSwitch Teknik Genel Bakış