Büyük dil modelleri ve üretken yapay zeka uygulamaları daha fazla hesaplama kaynağına ihtiyaç duyuyor. Agentic AI iş yükleri de bu ihtiyacı artırıyor. Ancak işlem kapasitesini artırmak tek başına yeterli değil.

Hızlandırıcıların yüksek performans göstermesi için verinin hızlı taşınması gerekiyor. Bununla birlikte sistemlerin güç ve soğutma sınırları içinde çalışması gerekiyor. Ayrıca binlerce hızlandırıcının rack ölçeğinde verimli biçimde bağlanması önem taşıyor.NVIDIA, NVLink Fusion ve NVHBM teknolojileriyle bu gereksinimleri birlikte ele alıyor.

NVLink Fusion bağlantı tarafını geliştirirken, NVHBM bellek performansı ve verimliliğine odaklanıyor.

NVIDIA NVLink Fusion Nedir?

NVIDIA NVLink Fusion, özel XPU ve CPU tasarımlarının NVIDIA AI altyapısına entegre edilmesini sağlıyor. Bu yaklaşım özellikle hyperscaler şirketler ve AI odaklı kurumlar için önem taşıyor.

Böylece özel hızlandırıcılar NVIDIA’nın scale-up ve scale-out teknolojileriyle birlikte kullanılabiliyor. Ayrıca kurumlar MGX rack-scale mimarisinden yararlanabiliyor.

Bu yapı kendi AI hızlandırıcılarını geliştiren şirketlere esneklik sağlıyor. Kurumlar belirli iş yükleri için özel XPU tasarımlarını kullanabiliyor. Aynı zamanda NVIDIA’nın veri merkezi bağlantı ekosisteminden de yararlanabiliyor.

NVHBM Nedir ve Neden Önemli?

NVHBM, NVIDIA tarafından bellek üreticileriyle birlikte geliştirilen özel bir HBM base-die teknolojisidir. Teknolojinin amacı yalnızca daha hızlı bellek sunmak değildir.

NVHBM, bellek bağlantılarının kapladığı fiziksel alanı azaltmayı hedefliyor. Ayrıca güç tüketiminin düşürülmesine katkı sağlıyor. Böylece özel AI hızlandırıcıları büyük modelleri daha verimli çalıştırabiliyor.

Bunun yanında KV cache verisine daha hızlı erişilebiliyor. Dolayısıyla büyük ölçekli inference iş yüklerinde daha yüksek verimlilik elde edilebiliyor.

Bellek Bant Genişliği Darboğazı

Modern AI hızlandırıcılarının performansı yalnızca hesaplama gücüne bağlı değildir. İşlem motorlarının düzenli biçimde veriyle beslenmesi de gerekir.

Eğitim ve inference sırasında model ağırlıkları sürekli taşınır. KV cache ve aktivasyon verileri de bellek ile işlem birimleri arasında hareket eder. Bellek yeterince hızlı değilse işlem birimleri veri beklemek zorunda kalabilir.

NVIDIA’nın verilerine göre

NVHBM, standart HBM4e ile karşılaştırıldığında stack başına yüzde 30’a kadar daha fazla bellek bant genişliği sağlayabiliyor.

Bu artış özellikle bellek sınırlı AI iş yüklerinde önem taşıyor. Böylece hızlandırıcıların kullanım verimliliği artabiliyor. Ayrıca throughput değerleri yükseltilebiliyor.

Büyük model inference senaryolarında yüksek bant genişliği önemli bir avantaj sağlıyor. HBM ile compute core’ları arasındaki veri daha hızlı taşınıyor. Sonuç olarak kullanıcı başına token throughput değeri artırılabiliyor.

NVIDIA NVLink Fusion Rack Ölçeğinde Ne Sağlıyor?

NVHBM tek bir hızlandırıcı içindeki bellek performansını geliştiriyor. NVLink Fusion ise bu hızlandırıcıları daha geniş bir compute domain içinde birbirine bağlıyor.

Bu yapı özellikle expert parallelism gibi dağıtık yapay zeka tekniklerinde önem kazanıyor. Farklı uzman modeller farklı hızlandırıcılarda çalışabiliyor. Bu nedenle ara verilerin sistemler arasında hızlı taşınması gerekiyor.

NVLink scale-up fabric bu veri akışını destekliyor. Ayrıca dağıtık cache yapılarının senkronize edilmesine yardımcı oluyor.

Daha Fazla Çip Alanı, Daha Fazla Esneklik

Özel yapay zeka işlemcilerinde her milimetrekare önemlidir. Matrix engine’ler, vector unit’ler ve SRAM aynı paket içinde yer alır. Cache yapıları ve bağlantı teknolojileri de fiziksel alan kullanır.

NVIDIA, NVHBM ile fiziksel bellek arabirimini yeniden tasarlıyor. Böylece mevcut alanın daha verimli kullanılması hedefleniyor. Bellek kontrol biriminin 3D HBM stack içine taşınması bu yaklaşımın önemli bir parçasını oluşturuyor.

Ayrıca özel PHY tasarımı fiziksel alan ihtiyacını azaltıyor. NVIDIA’ya göre

bu yapı, JEDEC HBM4e ile karşılaştırıldığında PHY ve destek alanını yüzde 67’ye kadar azaltabiliyor.

Daha dar bellek bağlantıları interposer üzerindeki yönlendirmeyi kolaylaştırıyor. NVIDIA’ya göre bu değişiklik, layout genelinde yüzde 80’e kadar daha fazla kullanılabilir silikon alanı sağlayabiliyor.

Bunun sonucunda merkezi AI compute die daha fazla alana genişleyebiliyor. Böylece ana die üzerinde ek compute kapasitesi için yer açılabiliyor. NVIDIA, bu artışın yüzde 30’a kadar çıkabildiğini belirtiyor.

Güç Tüketiminde Yüzde 15’e Kadar Azalma

Güç tüketimi, günümüz yapay zeka veri merkezlerinin temel sınırlamalarından biridir. HBM tarafından kullanılan enerji de toplam güç bütçesini doğrudan etkiler.Ayrıca bu tüketim termal tasarımı etkiler. Rack güç kapasitesi ve veri merkezi soğutması da bu durumdan etkilenir.

NVIDIA’ya göre NVHBM, standart HBM4e ile karşılaştırıldığında HBM güç kullanımını yüzde 15’e kadar azaltabiliyor.

Böylece XPU seviyesinde daha iyi performans/watt değeri elde edilebilir. Ayrıca rack seviyesindeki güç ve soğutma baskısı azaltılabilir. AI Factory ölçeğinde ise bu kazanç daha önemli hale gelir.

NVLink Fusion ve NVHBM Birlikte Ne Sağlıyor?

NVHBM çip seviyesinde XPU performansını ve verimliliğini artırıyor. NVLink Fusion ise özel XPU’ların NVIDIA AI platformuyla bağlantı kurmasını sağlıyor.

Dolayısıyla iki teknoloji farklı seviyelerde çalışıyor. Bununla birlikte aynı sistem mimarisini birlikte geliştiriyorlar.

NVIDIA; bellek bant genişliği, kullanılabilir die alanı ve HBM güç tasarrufunu birlikte değerlendiriyor.

NVLink Fusion Chiplet Nasıl Çalışıyor?

Bu bağlantının temel bileşenlerinden biri NVLink Fusion chiplet yapısıdır. Chiplet, özel XPU’lar ile NVLink fabric arasında köprü görevi görüyor.

Böylece rack içindeki XPU’lar tek bir scale-up domain içinde bağlanabiliyor. CPU tarafında ise XPU’lar NVLink-C2C bağlantısını kullanabiliyor.

Sonuç olarak kurumlar özel XPU ve CPU tasarımlarını NVIDIA’nın scale-up altyapısıyla birlikte kullanabiliyor. Ayrıca scale-out teknoloji yığınından da yararlanabiliyor.

Yeni Nesil AI Factory Altyapıları

Yapay zeka altyapılarında heterojen hesaplama yaklaşımı daha önemli hale geliyor. GPU’lar, özel XPU’lar ve CPU’lar farklı görevleri yerine getirebiliyor.

Bununla birlikte bu işlemciler aynı veri merkezi altyapısı içinde birlikte çalışabiliyor. NVLink Fusion da bu sistemlere ortak bir scale-up bağlantı temeli sunuyor.

NVHBM ise daha yüksek bellek performansı sağlıyor. Ayrıca compute yoğunluğunu ve güç verimliliğini destekliyor. Sonuç olarak

compute, bellek, ağ, güç ve rack tasarımının tek bir sistem olarak ele alınması giderek daha önemli hale geliyor.

GTM Teknoloji ile Yapay Zeka Altyapıları

Yapay zeka projelerinde güçlü bir GPU seçmek tek başına yeterli değildir. Sunucu mimarisinin de iş yüküne uygun olması gerekir. Ayrıca ağ, depolama, güç ve soğutma birlikte planlanmalıdır.

GTM Teknoloji olarak GPU sunucuları ve yüksek performanslı hesaplama sistemleri konusunda çözümler sunuyoruz. Ayrıca veri merkezi altyapılarının planlanmasında kurumların ihtiyaçlarına uygun yapıların oluşturulmasına destek oluyoruz.