Raf ölçeğinde HPC: Supermicro FlexTwin ile 2U’da dört düğüm
Soket başına 500W’a kadar Intel® Xeon® 6 P-core işlemciler, standart sıvı soğutma ve 2U’ya sığan dört bağımsız düğüm. Sonuç: tek 48U rafta 160 işlemci, 20.480 çekirdek ve 480 TB belleğe kadar ölçeklenen, fabrikada test edilmiş bir HPC kümesi.
Sorun: en hızlı işlemciler, en düşük yoğunluk
Yüksek performanslı hesaplamada kural basittir — mevcut en hızlı hesaplama kaynağına ihtiyaç duyarsınız. Ancak Twin ailesinin önceki nesillerinde yüksek çekirdek sayılı ve yüksek saatli işlemciler kullanıldığında hesaplama yoğunluğu düşüyordu: ısı bütçesi, kasa başına düşen düğüm sayısını sınırlıyordu.
Günümüz HPC uygulamaları ise CPU seviyesinde yüksek oranda dağıtılabilir. Aynı sunucu içindeki çift soketli anakartlarda, sistemler arasında ve binlerce çekirdeği eş zamanlı kullanacak şekilde çalışırlar. Bu uygulamalar için belirleyici olan iki şey vardır: çekirdek yoğunluğu ve bellek bant genişliği.
FlexTwin bu iki ihtiyacı birlikte karşılamak için tasarlandı. Soket başına 12 bellek kanalı, bellek bant genişliğine duyarlı uygulamalarda en yüksek bant genişliğini sağlar; sıvı soğutma ise en yüksek performanslı işlemcileri yoğunluktan ödün vermeden çalıştırmayı mümkün kılar.
FlexTwin sistem temelleri
FlexTwin, yalnızca 2U sunucu yüksekliğinde dört bağımsız düğüm barındıran çok düğümlü bir sistemdir. Sıvı soğutma, bu üst segment işlemcileri soğutabilmek için standarttır. Kaynak belgede referans alınan SYS-222FT-HEA-LCC modelinin desteklediği yapılandırma:
- 2U kasada 4 düğüm — her düğüm bağımsız çalışır
- İşlemci: düğüm başına çift soket, P-core’lu Intel® Xeon® 6 serisi üst segment işlemciler
- Bellek: düğüm başına 24 DIMM yuvası — 1DPC’de en fazla 6 TB 6400MT/s ECC DDR5 RDIMM veya 3 TB 8800MT/s ECC DDR5 MRDIMM
- Ağ (standart): 1 adet OCP 3.0 uyumlu AIOM x16 Gen5
- Genişleme (standart): 1 adet LP PCIe x16 Gen5
- Genişleme (opsiyonel): 1 adet FHHL PCIe x16 Gen5
- TDP: soket başına 500W’a kadar
Belgede referans alınan sistem
Hava/sıvı soğutma varyantı: SYS-222FT-HEA-ALC · Tüm çok düğümlü sistemler: MultiNode Server kataloğu
Raf ölçeğinde ne anlama geliyor?
Kaynak belge, Intel Xeon 6 6980P işlemcili yapılandırma üzerinden 48U’luk tek bir rafın hesabını veriyor. Zincir şöyle işliyor:
(4 düğüm × 2)
(8 × 20)
Aynı rafta azami bellek 480 TB olarak veriliyor — 80 düğümün her biri 6 TB ile yapılandırıldığında ulaşılan değer. Belgenin altını çizdiği karşılaştırma ise şu: aynı işlem gücündeki 1U rackmount sunucuya kıyasla toplam işlem gücü ve bellek 2 katına çıkıyor.
Bu değerler belgenin verdiği azami yapılandırmaya aittir. Gerçek proje rakamları seçilen işlemci modeli, bellek modülleri ve raf yüksekliğine göre değişir.
İki tanımlı raf konfigürasyonu
Sunucuları bir rafa dizmek teknik olarak mümkündür ama sonuç genelde tatmin edici olmaz. Supermicro’nun raf ölçekli yaklaşımı sunucunun yanı sıra ağ mimarisini, soğutma taleplerini ve alan gereksinimlerini birlikte ele alır. Küme, fabrikada monte edilip stres ve basınç testinden geçirilerek teslim edilir.
20 FlexTwin kasası
- 20 FlexTwin kasası — toplam 80 sunucu düğümü
- Gerekli ağ anahtarları
- Soğutucu dağıtım ünitesi (CDU) — 250 kW’a kadar
- Soğutucu dağıtım manifoldları (CDM)
- Harici soğutma kaynağına bağlanacak tüm hortumlar
8 raflı küme
- 8 raf × 24 kasa × 4 düğüm = 768 sunucu düğümü
- Ayrı anahtarlama rafı
- 768 düğümü soğutacak kapasitede sıra-içi (in-row) soğutucu
- Uçtan uca fabrika montajı ve testi
Belgede ayrıca bir rafın sıvı soğutma çözümüyle birlikte 22 adede kadar H14 FlexTwin sistemi barındırabildiği belirtiliyor.
Sıvı soğutma: sonradan eklenen değil, tasarımın parçası
Supermicro, sıvı soğutmalı raf ve sunucularla komple veri merkezi teslim edecek deneyime sahip. Sunucu seviyesinde sıvı soğutma, sunucunun ürettiği ısının %90’ını sıvıya aktarır ve veri merkezi düzeyinde elektrik faturasını %40’a kadar düşürebilir.
FlexTwin’de sıvı soğutma sisteme sonradan zorlanmış bir ekleme değil, baştan tasarıma dahil edilmiş bir bileşendir. Soket başına 500W’a kadar TDP’li işlemcileri 2U’da dört düğüm yoğunluğunda çalıştırmayı mümkün kılan da budur.
Supermicro, birden fazla üretim tesisinden ayda binlerce raf teslim edebilecek kapasiteye sahip; teslim süresi sektörün en hızlıları arasında.
Önden servis edilebilir tasarım
FlexTwin, bakım ve servis işlemlerini belirgin biçimde basitleştiren önden servis edilebilir bir tasarıma sahiptir:
- Hot-swap düğümler, G/Ç kartları ve depolama soğuk koridordan takılıp sökülebilir
- Yoğun kablolamanın bulunduğu arka tarafta çalışma gereği ortadan kalkar
- Bir düğümü çıkarmak için komşu düğümlerin fabric kablolarını, soğutma hortumlarını ve güç kablolarını kurcalama zorunluluğu kalkar
- Düğümler, günümüz yüksek performanslı işlemcilerinin gerektirdiği daha büyük CPU soketlerini ve on iki bellek kanalını barındıracak şekilde tasarlandı
Nerede fark yaratıyor?
FlexTwin, yüksek oranda ölçeklenebilir iş yükleri veya çok sayıda bağımsız işi işlemek üzere tasarlandı. Yüksek performanslı çekirdek sayısının belirleyici olduğu alanlar:
Yüksek kayan nokta performansı gerektiren FEA, CFD ve EDA uygulamaları için ideal.
Çok sayıda geçmiş faktöre dayanarak menkul kıymetlerin en uygun alım-satım kararını belirleme.
Kozmik olayların, nükleer reaksiyonların ve devasa veri gerektiren diğer olguların simülasyonu.
Nerede sondaj yapılacağının belirlenmesi ve mevcut kuyulardan daha fazla enerji çıkarılması.
Yeni ilaçların geliştirilmesi ve birçok hastalık için yeni tedavilerin bulunması.
Açık yönetim
SuperCloud Composer yazılımı, tüm sistemlerinizi tek panelden (single-pane-of-glass) yapılandırmanıza, bakımını yapmanıza ve izlemenize imkân verir. DevOps ekipleriniz kendi araçlarını kullanmayı tercih ediyorsa, Redfish uyumlu API üst seviye araçlara ve betik dillerine erişim sağlar. Veri merkezinizin yönetim yaklaşımı ne olursa olsun açık yönetim API’leri ve araçları hazırdır.
Türkiye’de nasıl hayata geçer?
Bu çözümdeki bileşenlerin tamamı — FlexTwin sunucular, CDU ve CDM soğutma bileşenleri, ağ anahtarları ve raf entegrasyonu — GTM Teknoloji üzerinden Türkiye’de temin edilebilir. GTM Teknoloji 2009’dan beri Supermicro’nun Türkiye distribütörüdür.
Bu ölçekteki projelerde belirleyici olan yalnızca sunucu seçimi değildir. Raf içi CDU 250 kW’a kadar kapasite sunuyor; bu, klasik bir kabinin elektrik ve soğutma altyapısından tamamen farklı bir planlama gerektirir. Tesisin güç dağıtımı, su altyapısı, sıcak/soğuk koridor düzeni ve ağ topolojisi baştan birlikte ele alınmalıdır. Tek raflık bir pilottan çok raflı kümeye kadar; boyutlandırma, tedarik, rack entegrasyonu, sahada devreye alma ve Türkçe teknik destek tek elden yürütülür.
Sık sorulan sorular
FlexTwin tam olarak nedir, klasik 1U sunucudan farkı ne?
Bir 48U rafta gerçekten 20.480 çekirdek olur mu?
Sıvı soğutma zorunlu mu, hava soğutmalı seçenek var mı?
Sıvı soğutmanın işletme maliyetine etkisi ne?
Bakım için rafın arkasına geçmek gerekiyor mu?
Kümeyi biz mi kurmak zorundayız?
Sistem yönetimi nasıl yapılıyor?
Türkiye'de bu ölçekte bir kurulum mümkün mü?
Uygulamanızı, hedef çekirdek sayınızı ve tesisinizin güç/soğutma kapasitesini paylaşın; tek raflık pilottan çok raflı kümeye kadar doğru yapılandırmayı birlikte belirleyelim.