Supermicro Amaca Yönelik Yapay Zeka Eğitim Çözümü

Habana Gaudi AI İşlemcileri ve SynapseAI Yazılımı ile 4U/8U AI Eğitim Sunucuları

Yüksek performanslı AI/Derin Öğrenme (DL) eğitim hesaplamasına yönelik talep, 2013’ten bu yana (OpenAI’ye göre) her 3,5 ayda bir iki katına çıktı ve büyüyen veri kümeleri boyutu ve bilgisayar görüşüne dayalı uygulama ve hizmetlerin sayısı ile hızlanıyor. doğal dil işleme, öneri sistemleri ve daha fazlası. Daha yüksek eğitim performansı, iş hacmi ve kapasiteye yönelik artan taleple birlikte, endüstri, artan verimlilik, daha düşük maliyet, uygulama kolaylığı, özelleştirmeyi sağlamak için esneklik ve eğitim sistemlerinin ölçeklendirilmesini sunan eğitim sistemlerine ihtiyaç duyuyor. Yapay zeka, sanal asistanlar, üretim operasyonları, otonom araç operasyonları ve tıbbi görüntüleme gibi çeşitli alanlar için birkaçını saymak gerekirse temel bir teknoloji haline geldi. Supermicro, artan bu gereksinimleri karşılamak için Habana Labs ile ortaklık kurdu.

Supermicro X12 Gaudi AI Eğitim Sistemi: SYS-420GH-TNGR

Supermicro X12 Gaudi AI Eğitim Sistemi, gerçek dünyadaki iki önemli hususa öncelik verir: AI modellerini mümkün olduğunca hızlı eğitirken aynı zamanda eğitim maliyetini düşürür. Sekiz Gaudi HL-205 ara kartı, çift 3. Nesil Intel® Xeon® Ölçeklenebilir işlemci, iki PCIe Gen 4 anahtarı, dört çalışırken değiştirilebilir NVMe/SATA hibrit sabit sürücü, tamamen yedekli güç kaynakları ve 24 x 100GbE RDMA (6 QSFP-) içerir. DD’ler) benzeri görülmemiş ölçeklendirme sistem bant genişliği için. Bu sistem, Gaudi AI işlemcilerinin tüm potansiyelini ortaya çıkaran 8 TB’a kadar DDR4-3200MHz bellek içerir. HL-205, OCP-OAM (Open Compute Project Accelerator Module) spesifikasyonuyla uyumludur. Her kart, 32 GB HBM2 belleğe sahip bir Gaudi HL-2000 işlemci ve yerel olarak entegre edilmiş on adet 100 GbE RoCE v2 RDMA bağlantı noktası içerir.

Sistem, çok çeşitli uygulamalar için yüksek verimli AI model eğitimi sağlar:

Bilgisayarla görme uygulamaları:

Daha az garanti sorunuyla daha iyi ürünlerle sonuçlanan üretim hatası tespiti
Sahtekarlık tespiti, yılda milyarlarca dolar tasarruf
Envanter yönetimi, işletmelerin daha verimli olmasını sağlar
Anormallikleri tespit etmek için tıbbi görüntüleme
Güvenliği artırmak için fotoğraf ve videoların tanımlanması.

Dil uygulamaları:

Soru cevaplama
Konuyla ilgili sorgular
Chatbotlar ve çeviriler
Öneri sistemleri için duygu analizi

Çok yakında – Supermicro Gaudi®2 AI Eğitim Sunucusu: SYS-820GH-TNR2

Supermicro Gaudi2 AI Eğitim Sunucusu, gerçek dünyadaki iki önemli hususa öncelik verir: çeşitli AI modellerini daha hızlı analiz etmek için çoklu AI eğitim sistemini entegre ederken, aynı anda çoklu ölçeklenebilirlik işlevi ve fiyat avantajları. Sekiz Gaudi2 HL-225H mezzanine kartı, çift 3. Nesil Intel® Xeon® Ölçeklenebilir işlemci, iki PCIe Gen 4 anahtarı, 24 çalışırken değiştirilebilir sabit sürücü (SATA/NVMe/SAS), tam yedekli güç kaynakları ve 24 x 100GbE (48 x 56Gb) Eşi görülmemiş ölçeklendirme sistem bant genişliği için 6 QSFP-DD ile PAM4 SerDes Bağlantıları. Bu sistem, Gaudi2 AI işlemcilerin tüm potansiyelini ortaya çıkaran 8 TB’a kadar DDR4-3200MHz bellek içerir. HL-225H, OCP-OAM v1.1 (Open Compute Project Accelerator Module) spesifikasyonuyla uyumludur. Her kart, 96 GB HBM2E belleğe ve 8 x 3 x 100 Gb = 2’ye sahip bir Gaudi2 işlemci içerir.

Habana Gaudi AI Eğitim Sistemi Özellikleri	X12 Gaudi AI Eğitim Sunucusu	Gaudi2 Yapay Zeka Eğitim Sunucusu
İşlemci Desteği	Çift 3. Nesil Intel® Xeon® Ölçeklenebilir işlemciler, Soket P+ (LGA-4189), 270 W TDP’ye kadar
sunucu panosu	X12DPG-U6	X12DPG-OA6-GD2
Sistem belleği	32x DIMM yuvaları, 3200/2933/2666MHz ECC DDR4 RDIMM/LRDIM
AI İşlemciler	OAM ara kartlarında 8x Habana Gaudi AI işlemciler, 350W TDP, pasif soğutucular	OAM ara kartlarında 8x Habana Gaudi2 AI işlemci, 600W TDP, pasif soğutucular
Genişleme yuvaları	Çift x16 PCI-E AIOM (SFF OCP 3.0 üst kümesi) artı tek x16 PCI-E 4.0 tam yükseklikte, yarım uzunlukta genişletme yuvası	3 PCI-E Yuvası: 2x PCI-E 4.0 x8 (FHHL) ve 1x PCI-E 4.0 x16 (FHHL). İsteğe bağlı 4x PCI-E 4.0 x8 (LP) veya 2x PCI-E 4.0 x16 (LP)
bağlantı	RJ45 aracılığıyla 1x 10GbE ayrılmış IPMI LAN, 6x 400Gb QSFP-DD bağlantı noktaları, 2x USB 3.0
VGA/Ses	BMC üzerinden VGA
Sürücü bölmeleri	4x dahili 2,5″ çalışırken değiştirilebilir NVMe/SATA/SAS Sürücü Yuvaları.	24x dahili 2,5″ çalışırken değiştirilebilir NVMe/SATA/SAS Sürücü Yuvaları
Depolamak	2x M.2 NVMe VEYA 2x M.2 SATA3	2x M.2 PCIe 3.0 x4 yuva
Güç kaynağı	4x 3000W yedekli güç kaynakları, 80+ Titanyum seviyesi Test edilmiş güç tüketimi: 4922W *	6x 3000W Yüksek verim (54V+12V)
Soğutma sistemi	5 adet çıkarılabilir ağır hizmet tipi fan	12x kaldırmalı ağır hizmet tipi fanlar
Çalışma sıcaklığı	10°C ~ 35°C (50°F ~ 95°F)
Form faktörü	178 x 447 x 813 mm (7″ x 17,6″ x 32″)	447 x 356 x 800 mm (17,6″ x 14″ x 31,5)
Ağırlık	Brüt ağırlık: 137 libre (62 kg)	TBD
	* Test edilmiş konfigürasyon: 2x Intel® Xeon® Platinum 8368 İşlemci: 38 çekirdek, 76 iş parçacığı, 2,4 GHz 32x 128GB DDR4 4RX4 RDIMM 2x AOC-A100G-b2CM AIOM 2 bağlantı noktalı 100 GbE QSFP28 1x AOC-S100G-b2C 2 bağlantı noktalı 100 GbE QSFP28 4x 1.2TB Intel SSD DC P3500 Serisi NVMe + 2x NVMe M.2

Habana Gaudi Yapay Zeka İşlemci

Habana® Gaudi® AI işlemci, fiyat-performans, kullanım kolaylığı ve ölçeklenebilirliği en üst düzeye çıkarmak için tasarlanmıştır. Gaudi AI işlemcileri üzerine eğitim şunları sağlar:

Verimlilik – Gaudi, mevcut geleneksel AI bilgi işlem çözümlerinden %40’a kadar daha iyi fiyat-performans sunar. Maliyet verimliliği, modelleri daha büyük veri kümelerinde ve daha sık aralıklarla daha düşük maliyetle eğitmenize olanak tanır.

Ölçeklenebilirlik – Her Gaudi AI işlemcisi, esnek ve devasa ölçek büyütme ve genişletme kapasitesi için on adet 100 Gigabit Ethernet RoCE bağlantı noktasını entegre eder. Endüstri standardı Ethernet’e dayanan Gaudi sistemleri, sistemleri oluşturmak için çok çeşitli standart Ethernet anahtar çözümleri sağlar ve böylece genel sistem maliyetlerini düşürür.

Kullanılabilirlik – Gaudi, yeni modeller oluşturmayı veya mevcut modelleri Gaudi platformuna geçirmeyi basitleştiren Habana SynapseAI® yazılım yığını ve araçlarıyla desteklenir. Bu, veri merkezi operasyonlarının Gaudi sistemlerini dağıtmak için önemli bir zaman, kaynak veya çaba harcamadan model eğitiminin maliyetini azaltabileceği anlamına gelir.

Gaudi Çip Şeması
Kaynak: Habana

Gaudi Eğitim Verimliliği

AI performansını optimize etmek için tasarlanan Gaudi, geleneksel işlemci mimarilerinden daha yüksek verimlilik sunar:

Eğitim verimliliğini en üst düzeye çıkarmak için heterojen bilgi işlem mimarisi
- Sekiz tamamen programlanabilir, yapay zekaya göre özelleştirilmiş Tensör İşlemci Çekirdeği
- Yapılandırılabilir merkezi GEMM motoru (matris çarpma motoru)
32 GB HBM2 belleğe sahip yazılımla yönetilen bellek mimarisi

Habana Gaudi2 AI İşlemci

Habana® Gaudi®2 AI işlemci, fiyat-performans, kullanım kolaylığı ve ölçeklenebilirliği en üst düzeye çıkarmak için tasarlanmıştır. Gaudi AI işlemcileri üzerine eğitim şunları sağlar:

Verimlilik – Gaudi2, mevcut geleneksel AI bilgi işlem çözümlerinden 2-4 kat daha iyi performans sunar. Maliyet verimliliği, modelleri daha büyük veri kümelerinde ve daha sık aralıklarla daha düşük bir maliyetle eğitmenize olanak tanır.

Ölçeklenebilirlik – Her Gaudi2 yapay zeka işlemcisi, esnek ve devasa ölçek büyütme ve genişletme kapasitesi için yirmi dört adet 100 Gigabit Ethernet RoCE bağlantı noktasını entegre eder. Endüstri standardı Ethernet’e dayanan Gaudi2 sistemleri, sistemleri oluşturmak için çok çeşitli standart Ethernet anahtar çözümlerini mümkün kılar ve böylece genel sistem maliyetlerini düşürür.

Kullanılabilirlik – Gaudi2, yeni modeller oluşturmayı veya mevcut modelleri Gaudi platformuna geçirmeyi basitleştiren Habana SynapseAI® yazılım yığını ve araçlarıyla desteklenir. Bu, veri merkezi operasyonlarının Gaudi sistemlerini dağıtmak için önemli zaman, kaynak veya çaba harcamadan model eğitiminin maliyetini azaltabileceği anlamına gelir.

Gaudi2 Eğitim Verimliliği

AI performansını optimize etmek için tasarlanan Gaudi2, geleneksel işlemci mimarilerinden daha yüksek verimlilik sunar:

Eğitim verimliliğini en üst düzeye çıkarmak için heterojen bilgi işlem mimarisi
- Sekiz tamamen programlanabilir, yapay zekaya göre özelleştirilmiş Tensör İşlemci Çekirdeği
- Yapılandırılabilir merkezi GEMM motoru (matris çarpma motoru)
96 GB HBM2E belleğe sahip yazılımla yönetilen bellek mimarisi

Gaudi2 Çip Şeması
Kaynak: Habana

Gaudi Sunucu Blok Şeması
Kaynak: Habana

Gaudi Ölçekleme Verimliliği

Her Gaudi AI işlemcisine 10 x 100 Gigabit Ethernet RoCE bağlantı noktasının yerel entegrasyonu

Ağ darboğazlarını ortadan kaldırır
Sunucunun içindeki ve düğümler arasındaki standart Ethernet, bir ila binlerce Gaudi işlemci arasında ölçeklenebilir
Ayrık bileşenleri azaltarak toplam sistem maliyetini ve gücü düşürür

Gaudi AI işlemcilerinin her biri, on adet 100GbE RoCE bağlantı noktasından yedisini, 8 kartlı sistem başına toplam 24 x100GbE RoCE bağlantı noktası için ölçeklendirme için kullanılabilen üç bağlantı noktasıyla, sistem içindeki hepsi bir arada bağlantıya ayırır. Bu, son müşterilerin dağıtımlarını standart 100GbE anahtarları kullanarak ölçeklendirmelerine ve böylece genel sistem maliyeti avantajları elde etmelerine olanak tanır. Kutunun içinde ve dışında yüksek RoCE bant genişliği verimi ve ölçeklendirme için kullanılan birleşik standart protokol, çözümü kolayca ölçeklenebilir ve uygun maliyetli hale getirir. Bu şema, sekiz Gaudi HL-205 işlemcili bir sistemi ve AI işlemcileri ile sunucu CPU’ları arasındaki iletişim yollarını göstermektedir.

Gaudi2 Ölçekleme Verimliliği

Her Gaudi2 AI işlemcisine 24 x 100 Gigabit Ethernet RoCE bağlantı noktasının yerel entegrasyonu

Ağ darboğazlarını ortadan kaldırır
Sunucunun içindeki ve düğümler arasındaki standart Ethernet, bir ile binlerce Gaudi2 işlemci arasında ölçeklenebilir
Ayrık bileşenleri azaltarak toplam sistem maliyetini ve gücü düşürür

Gaudi2 AI işlemcilerinin her biri, 24 adet 100GbE RoCE bağlantı noktasından 21’ini sistem içindeki her şey dahil bağlantıya ayırır ve 8 kartlı sistem başına toplam 24 x100GbE RoCE bağlantı noktası için ölçeklendirme için üç bağlantı noktası kullanılabilir. Bu, son müşterilerin dağıtımlarını standart 100/400GbE anahtarları kullanarak ölçeklendirmelerine ve böylece genel sistem maliyeti avantajları elde etmelerine olanak tanır. Kutunun içinde ve dışında yüksek RoCE bant genişliği verimi ve ölçeklendirme için kullanılan birleşik standart protokol, çözümü kolayca ölçeklenebilir ve uygun maliyetli hale getirir. Bu şema, sekiz Gaudi HL-225H işlemcili bir sistemi ve AI işlemcileri ile sunucu CPU’ları arasındaki iletişim yollarını göstermektedir.

Gaudi2 Sunucu Blok Şeması
Kaynak: Habana

Tak ve Çalıştır AI Eğitim Küme Çözümü:

Gaudi’nin bilgi işlem ve ağ oluşturma işlevselliği entegrasyonu, Gaudi sistemlerinin bir ile binlerce arasında kolay ve doğrusala yakın ölçeklenmesini sağlar. Supermicro, AI çıkarımı (Habana Goya çıkarım işlemcilerinden yararlanarak), CPU düğümü ve depolama sunucuları, ağ sistemleri ve eksiksiz raf çözümleri dahil olmak üzere tam AI veri merkezi kümelerini destekler. Erken bir uygulama örneği olarak, Supermicro X12 AI Eğitim sunucusu, 42 düğümlü ölçeği ile Voyager süper bilgisayarının San Diego kampüsünde California Üniversitesi’ndeki San Diego Süper Bilgi İşlem Merkezi’nde konuşlandırılıyor.

Gaudi Sistemleri için SynapseAI Yazılım Yığını:

SynapseAI® yazılım yığını, Gaudi donanım mimarisi için optimize edilmiştir ve Gaudi’nin kullanım kolaylığı için tasarlanmıştır. Geliştiricilerin ve veri bilimcilerin ihtiyaçları göz önünde bulundurularak oluşturulmuştur, son kullanıcıların benzersiz ihtiyaçlarını karşılamak için çok yönlülük ve programlama kolaylığı sağlarken, yeni modellerin basit ve sorunsuz bir şekilde oluşturulmasına ve mevcut modellerin Gaudi’ye aktarılmasına olanak tanır. SynapseAI yazılımı, geliştiricilerin Gaudi sistemlerini özelleştirme becerilerini kolaylaştırarak, onların özel gereksinimlerini karşılamalarını ve kendi özel yeniliklerini yaratmalarını sağlar.

SynapseAI yığınının özellikleri:

Entegre TensorFlow ve PyTorch çerçeveleri
Popüler bilgisayarlı görme, NLP ve öneri modelleri için destek
TPC programlama araçları: derleyici, hata ayıklayıcı ve simülatör
Müşteri Çekirdeği geliştirme için kapsamlı Habana çekirdek kitaplığı ve kitaplığı
Habana İletişim Kitaplıkları (HCL ve HCCL)

Kaynak: Habana