Dört DGX Spark ünitesini bir araya getirmek, üç üniteyi getirmekten farklı bir iştir. Sadece bir kutu daha eklemiyorsunuz: ağ anahtarı, kablo seçimi ve güç bütçesi devreye giriyor. Buna karşılık kümenin karakteri de değişiyor — kapasite artışı ilk kez doğrudan performansa dönüşebiliyor. Bu yazıda 4 düğümlü bir DGX Spark kümesini kurmak için gereken donanımı, sık yapılan hataları ve hangi ölçeğin kime uygun olduğunu anlatıyoruz.
Önce asıl mesele: neden tam olarak dört?
DGX Spark kümelerinde 2, 3 ve 4 düğüm arasındaki fark, çoğu zaman sanıldığı gibi yalnızca bellek miktarı değildir. Belirleyici olan, modelin düğümlere nasıl bölündüğüdür.
Tensör paralelliği (tensor parallelism), modelin her katmanını düğümler arasında yatay olarak böler ve pratikte 2’nin katlarında çalışır: 2, 4, 8. Bu yüzden üç düğümlü bir kümede kullanılamaz. Üç düğüm, modeli katmanlara ayıran pipeline paralelliğine kalır — ve pipeline’ın düğümler arası aktarım yükü, toplam üretim hızını iki düğümün altına bile düşürebilir. Nitekim NVIDIA geliştirici forumlarında üç düğümlü ring desteğini duyuran ekip de bunu açıkça belirtiyor: üç düğüm pipeline modunda, eklenen ek yük nedeniyle tek bir Spark’tan bile yavaş kalabiliyor.
Dördüncü ünite bu kısıtı kaldırır. Model dört ünite arasında tensör düzeyinde bölünebilir; 512 GB’lık birleşik bellek yalnızca daha büyük değil, daha hızlı çalışan model anlamına gelir. Bedeli ise üç düğümlü ring topolojisinin gerektirmediği bir şeydir: ağ anahtarı.
Anahtar (switch) seçimi
Dört düğümde artık ünite başına doğrudan kablo çekmek yerine merkezî bir anahtara ihtiyaç var. Referans kurulumlarda öne çıkan model MikroTik CRS804-4DDQ-HRM:
- 4x 400G QSFP56-DD port + 2x 10GbE yönetim portu
- 1U yarım raf genişliğinde — rafa monte edilebilir ya da masaüstünde çalışır
- ~92W tipik, ~123W yük altında güç çekişi; 150W altı TDP sayesinde görece sessiz
- Breakout kablolarla 8 DGX Spark ünitesine kadar destek
Bu anahtarın cazip yanı, kurumsal veri merkezi anahtarlarının aksine laboratuvar ya da ofis ortamına sığması. Kümeyi bir masanın altında çalıştırabiliyorsunuz.
Kablolama: iki yol var
Dört düğüm için iki geçerli kablolama şeması bulunuyor ve seçim, ilerideki büyüme planınıza bağlı.
Seçenek A — Birebir bağlantı
4 adet QSFP-DD → QSFP56 kablo, her düğüm için bir anahtar portu. Düğüm başına 200 Gbps. Basit ve anlaşılır; dört port da dolu olduğu için küme bu ölçekte kalır.
Seçenek B — Breakout
2 adet QSFP-DD → 2x QSFP56 breakout kablo. Her biri bir 400G anahtar portunu iki adet 200G bacağa böler. Dört düğüm iki portla bağlanır, iki port boş kalır — küme sonradan sekiz düğüme çıkarılabilir.
Üç düğümlü ring topolojisinden gelen bir alışkanlığı burada bırakabilirsiniz: dört düğümde hangi kablonun hangi porta takıldığı önemli değil. Ring’de kabloların komşuluk sırası kritikti; anahtar üzerinden yıldız topolojisinde böyle bir kısıt yok.
Güç bütçesi — sürpriz yok
Çoğu kişinin beklediğinin aksine dört üniteli bir DGX Spark kümesi özel elektrik tesisatı gerektirmiyor:
- DGX Spark ünitesi başına 240W harici güç kaynağı → 4 ünite için 960W
- Anahtar yük altında ~123W
- Toplam tepe çekiş ≈ 1.083W
Standart bir prizin 1.800W’lık tepe kapasitesinin belirgin biçimde altında. PDU kullanmak düzen açısından önerilir ama zorunlu değildir. Bu, kümeyi ayrı bir sistem odası hazırlamadan devreye alabileceğiniz anlamına geliyor — DGX Spark ailesinin en pratik yanlarından biri.
Kurulumda gözden kaçan üç ayrıntı
1. Anahtar portları sessizce 50 Gbps’e düşer
Port hızları otomatik anlaşmaya bırakıldığında sıklıkla 50 Gbps’te kalır. Her portun anahtarın yönetim arayüzünden elle 200 Gbps’e sabitlenmesi gerekir. Bu adım atlandığında küme çalışır, testler geçer, ama kimse dörtte bir hızda çalıştığını fark etmez.
2. 200 Gbps kablo ≠ 200 Gbps throughput
Sahadaki ölçümler, bağlantı başına pratik hızın ~100 Gbps civarında kaldığını gösteriyor. Sebep kablo ya da anahtar değil: ConnectX-7 portunun içindeki PCIe Gen5 x4 tavanı. Bu bir arıza değil, mimarinin sınırı — kapasite planlaması yaparken kâğıt üzerindeki 200 Gbps yerine bu rakamı esas almak gerekiyor.
3. Yazılım katmanı
Dağıtık iş yükleri düğümler arası iletişim için MPI, GPU toplu işlemleri için NCCL ister. NVIDIA’nın Sync Cluster Assistant aracı düğüm keşfi, ConnectX-7 yapılandırması, IP planlaması, bağlantı doğrulaması ve düğümler arası parolasız SSH kurulumunu büyük ölçüde otomatikleştiriyor. Yine de NCCL sürüm uyumu ve topoloji değişkenleri, üzerinde durulması gereken bir alan olmayı sürdürüyor.
Dört düğümle ne çalıştırılır?
512 GB birleşik bellek ve 16 TB NVMe ile iki farklı kullanım şekli öne çıkıyor.
Tek dev model. Dört ünitenin belleği birleşerek yüz milyarlarca parametreli tek bir modeli taşır. 4-bit sınıfı kuantizasyonla DeepSeek-R1 671B ölçeğindeki modeller, kabaca 700–800 milyar parametre bandına kadar çalıştırılabiliyor. Tensör paralelliğiyle bölünmüş tek bir servis, tek kullanıcı ya da uygulama için mümkün olan en yüksek model kalitesini verir.
Çok modelli eşzamanlı servis. Her düğüm bağımsız bir servis çalıştırır. Dört adet Llama 3 70B sınıfı model, ya da karma bir kurulum — örneğin iki adet 70B artı iki adet 32B — sohbet, kod üretimi ve RAG iş yüklerini aynı anda, düşük gecikmeyle karşılar. Ajan tabanlı mimarilerde her ajana ayrı model havuzu ayırmak için de uygun bir düzen.
Kısaca dört düğüm, ya kuantizasyonla yüz milyarlarca parametre bandına çıkmak, ya da 30B–70B sınıfındaki birden çok modeli eşzamanlı ve hızlı servis etmek içindir.
Peki hangi ölçek size uygun?
| 2’li | 3’lü ring | 4’lü switch’li | |
|---|---|---|---|
| Birleşik bellek | 256 GB | 384 GB | 512 GB |
| Tensör paralelliği | var | yok | var |
| Ağ anahtarı | gerekmez | gerekmez | gerekir |
| Toplam güç | 480W | 720W | ~1.083W |
| Sonraki adım | 3’lüye | tavan | 8 düğüme |
Pratik bir kural: modeliniz iki düğüme sığmıyorsa ve önceliğiniz kapasite ise 3’lü ring, ek ağ yatırımı olmadan ulaşabileceğiniz en büyük kümedir. Önceliğiniz hız ya da eşzamanlı çok kullanıcı ise 4’lü switch’li küme doğru seçimdir — çünkü tensör paralelliği ancak orada devreye girer.
GTM Teknoloji’den hazır paketler
Bu yazıdaki tüm yapılandırmaları GTM Teknoloji üzerinden kurulu ve test edilmiş halde temin edebilirsiniz. NVIDIA NPN yetkili iş ortağı olarak ünite, anahtar ve kabloları tek paket halinde, port hızları ayarlanmış ve dağıtık çıkarım testinden geçmiş şekilde teslim ediyoruz:
- DGX Spark tek ünite — 128 GB, masaüstünde 200B parametreye kadar yerel çıkarım
- 2’li cluster paketi — 256 GB, tensör paralelliği, switch gerekmez
- 3’lü ring cluster — 384 GB, switch’siz kurulabilen en büyük küme
- 4’lü switch’li cluster — 512 GB, 400G anahtar ve kablolar dâhil, 8 düğüme genişletilebilir
Hangi ölçeğin size uygun olduğundan emin değilseniz: çalıştırmayı planladığınız modeli, kuantizasyon tercihinizi ve hedeflediğiniz bağlam uzunluğunu paylaşın — doğru düğüm sayısını birlikte belirleyelim. Yanlış ölçeği satmak kimsenin işine yaramaz.
Kaynaklar
Anahtar, kablolama ve güç verileri Exxact Corporation’ın 4x NVIDIA DGX Spark kümesi kurulum yazısından derlenmiştir. Üç düğümlü ring topolojisinde tensör paralelliğinin kullanılamamasına ve pipeline modundaki performans davranışına ilişkin bilgiler NVIDIA Developer Forums üzerindeki üç düğümlü küme duyurusuna dayanmaktadır. Yorum, karşılaştırma ve öneriler GTM Teknoloji’ye aittir.