MIG teknolojisi nedir?

MIG (Multi-Instance GPU), uyumlu NVIDIA GPU’larının bellek ve hesaplama kaynaklarını donanım düzeyinde bölümlere ayırır. Ardından her bölüm kendine ait kaynaklarla ayrı bir iş yükünü yürütür.

Örneğin küçük bir yapay zekâ modeli GPU’nun tamamına ihtiyaç duymazsa sistem yöneticisi diğer bölümleri farklı uygulamalara tahsis eder. Böylece ekipler ortak sunucunun kapasitesinden daha iyi yararlanır.

RTX PRO 6000 Blackwell üzerinde MIG nasıl çalışır?

NVIDIA RTX PRO 6000 Blackwell ailesindeki Server Edition, Workstation Edition ve Max-Q Workstation Edition, gerekli sistem ve yazılım koşulları sağlandığında MIG desteği sunar. Örneğin 1g.24gb profiliyle aynı GPU üzerinde dört ayrı 24 GB MIG örneği oluşturabilirsiniz.

Ancak bu dört örnek, dört fiziksel GPU anlamına gelmez. Çünkü tüm bölümler aynı GPU’nun kaynaklarını paylaşır; MIG her bölüme belirli kapasite ayırır.

MIG profilleri: 4 × 24 GB tek seçenek değil

Bir MIG profili, GPU bölümünün bellek ve hesaplama kapasitesini tanımlar. Örneğin RTX PRO 6000 Blackwell için şu profillere bakabiliriz:

Bununla birlikte NVIDIA, GPU modeline ve yazılım sürümüne göre farklı profil kombinasyonları sunabilir. Bu yüzden güncel NVIDIA belgelerini kontrol edin.

MIG ile normal GPU paylaşımı arasındaki fark

Standart GPU paylaşımında farklı uygulamalar aynı kaynakları kullanır. Bu yüzden yoğun bir işlem, diğer uygulamaların yanıt süresini artırabilir.

MIG, GPU belleğini ve hesaplama kaynaklarını donanım düzeyinde bölümlere ayırır. Böylece sistem yöneticileri her iş yüküne belirli bir kapasite tahsis edebilir.

Yine de MIG her uygulamayı otomatik olarak hızlandırmaz. Çünkü gerçek performansı profil kapasitesi ve uygulamanın ihtiyacı belirler.

Aynı sunucuda farklı AI servisleri

Örneğin tek RTX PRO 6000 Blackwell GPU kullanan bir şirket düşünün. Ekip bir MIG bölümünde belge özetleme modeli çalıştırırken diğerinde görüntü sınıflandırma hizmeti sunabilir.

Ayrıca ekip kalan bölümleri müşteri destek chatbot’una ve geliştirici testlerine ayırabilir. Yine de her uygulamanın bellek ve işlem ihtiyacı, kendisine ayrılan MIG profilinin kapasitesini aşmamalıdır.

Hangi NVIDIA GPU’ları MIG destekler?

NVIDIA’nın her GPU modeli MIG teknolojisini sunmaz. Örneğin A100, H100, H200 ve B200 veri merkezi GPU’ları MIG’i destekler. Ayrıca RTX PRO 6000 Blackwell ailesi de uygun koşullarda bu teknolojiden yararlanır.

Bununla birlikte GPU modelleri aynı MIG profillerini sunmayabilir. Bu nedenle kart seçmeden önce NVIDIA’nın güncel MIG profil tablosunu inceleyin.

MIG ve NVIDIA vGPU arasındaki fark nedir?

MIG, fiziksel GPU’nun kaynaklarını donanım düzeyinde ayrı örneklere böler. Buna karşılık NVIDIA vGPU, uyumlu sanallaştırma ortamlarında sanal makinelerin GPU kaynaklarından yararlanmasını sağlar.

RTX PRO 6000 Blackwell Server Edition, uyumlu hypervisor, NVIDIA vGPU yazılımı ve gerekli lisanslarla MIG tabanlı vGPU kullanımına olanak tanır. Böylece sistem yöneticileri MIG kaynaklarını uyumlu sanal makinelere tahsis eder.

Öte yandan Workstation Edition ve Max-Q Workstation Edition MIG desteği sunar ancak NVIDIA vGPU teknolojisini desteklemez. Bu nedenle MIG kaynaklarını vGPU yoluyla sanal makinelere aktarmak isteyen kurumlar Server Edition modelini seçmelidir.

Sonuç: MIG ne zaman avantaj sağlar?

Özellikle birden fazla kullanıcıya hizmet veren sunucular MIG’den yararlanır. Böylece ekipler birkaç küçük yapay zekâ iş yükünü tek bir fiziksel GPU üzerinde çalıştırırken kaynak dağılımını daha kontrollü yönetebilir.

Önce modellerinizin bellek ve hesaplama ihtiyaçlarını belirleyin. Ardından GPU’nuzun desteklediği MIG profillerini karşılaştırarak iş yükünüze uygun seçeneği tercih edin.