96 GB VRAM ile RAG: Hangi Açık MoE Modeli Seçilmeli?
96 GB VRAM ile RAG sistemi kurarken hem model kalitesine hem de bellek ihtiyacına bakmalıyız. Üstelik modeli harici API kullanmadan kendi GPU sunucumuzda çalıştırmayı hedefliyoruz. Peki Türkçe ve İngilizce kurumsal belgeler için hangi açık ağırlıklı MoE modeli daha uygun? Bu rehberde Qwen3.5, gpt-oss ve Nemotron modellerini karşılaştırıyoruz.
96 GB VRAM ile RAG planlarken öncelikle her kurumun farklı ihtiyaçlarını dikkate almalıyız. Örneğin hukuk ekibi kaynaklara bağlı yanıtlar beklerken teknik destek ekibi hızı önemser. Her iki ekip de RAG kullanabilir. Buna rağmen öncelikleri aynı değildir. Bu nedenle yanıt kalitesini, GPU belleğini ve dağıtım kolaylığını birlikte değerlendirmeliyiz.
RAG ve MoE neden önemli?
RAG, kurumun güncel bilgi kaynaklarını dil modelinin yanıt sürecine dahil eder. Sistem önce ilgili belge parçalarını bulur, ardından bunları kullanıcı sorusuyla birlikte modele gönderir. Böylece çalışanlar prosedürleri, ürün kılavuzlarını ve sözleşmeleri daha kolay sorgular. Ayrıca sistem, yanıtın dayandığı kaynakları da gösterebilir. Ancak doğru belgeyi bulamayan bir RAG altyapısı, güçlü bir dil modeliyle bile yanlış yanıt üretebilir.
Bunun yanında MoE, yani Uzmanlar Karışımı, büyük modellerin hesaplama yükünü yönetmesine yardımcı olan bir mimaridir. Model her token için uzman ağların yalnızca bir bölümünü çalıştırır. Böylece tüm parametreleri aynı anda hesaplamadan yanıt üretebilir. Ancak GPU, işlem sırasında devreye girmeyen uzmanların ağırlıklarını da genellikle bellekte tutar. Dolayısıyla düşük aktif parametre sayısı, tek başına düşük VRAM ihtiyacı anlamına gelmez.
96 GB VRAM için hangi açık MoE modellerini değerlendirmeliyiz?
96 GB VRAM hedefiyle üç açık ağırlıklı MoE modelini karşılaştırıyoruz. Kurumlar bu modellerin ağırlıklarını indirip uygun donanımda yerel olarak çalıştırabilir. Ancak her model farklı mimari, lisans ve bellek gereksinimi getiriyor. Bu nedenle Türkçe yanıt kalitesini ve tek GPU kapasitesini ayrı ölçmek gerekiyor.
01
Qwen3.5-122B-A10B
Qwen3.5-122B-A10B yaklaşık 122 milyar toplam ve token başına 10 milyar aktif parametre taşıyor. Model, MoE yapısını hibrit dikkat katmanlarıyla birleştiriyor. Resmî model kartı 262.144 token doğal bağlam kapasitesi ile 201 dil ve lehçe kapsamı bildiriyor. Ayrıca Apache 2.0 lisansı ticari kullanıma izin veriyor.
Qwen’i ilk kalite testine almamızın başlıca nedeni geniş çok dilli desteği. Bu özellik Türkçe ve İngilizce kurumsal belgelerde avantaj sağlayabilir. Üreticinin genel dil ve uzun bağlam sonuçları da bu yaklaşımı destekliyor. Ayrıca model görsel girdileri işleyebiliyor. Yine de bağımsız Türkçe RAG testleri olmadan kesin kazananı belirleyemeyiz.
Bununla birlikte 96 GB VRAM ile kurulumda bellek planlaması kritik. Modelin yüksek hassasiyetli ağırlıkları tek karta sığmıyor. Resmî GPTQ-Int4 sürümünün dosyaları yaklaşık 78,9 GB yer kaplasa da gerçek VRAM tüketimi farklıdır. Üstelik Qwen’in örnek dağıtımı birden fazla GPU kullanıyor. Bu nedenle tek kartta hız, bağlam ve eşzamanlı istekleri ayrıca ölçmeliyiz.
02
OpenAI gpt-oss-120b
gpt-oss-120b yaklaşık 117 milyar toplam ve 5,1 milyar aktif parametre içeriyor. Model 131.072 token bağlam sunuyor; ayrıca metin tabanlı akıl yürütme ve araç kullanımına odaklanıyor. Örneğin kurumsal bir asistan önce ilgili belgeleri arar. Ardından kurum yazılımından veri alıp soruyu yanıtlar. Bu nedenle araç çağıran RAG sistemlerinde iyi bir test adayı.
Buna karşılık gpt-oss-120b için bellek planlamasında somut bir referans var. OpenAI, MXFP4 sürümünün tek 80 GB H100 GPU’ya sığdığını açıklıyor. Böylece 96 GB VRAM üzerinde, uyumlu bir GPU ile başlangıç testi planlayabiliriz. Ancak KV cache, GPU mimarisi ve servis ayarları bellek tüketimini değiştirir. Model Apache 2.0 lisansını kullanıyor.
Yine de Türkçe kaynak sadakatini kendi belgelerimizle ölçmeliyiz. Ayrıca düşük aktif parametre sayısı her donanımda daha yüksek hız sağlamaz. GPU mimarisi, bağlam uzunluğu ve sunum motoru sonucu birlikte etkiler.
03
NVIDIA Nemotron 3 Super
NVIDIA Nemotron 3 Super yaklaşık 120 milyar toplam ve token başına 12 milyar aktif parametre içeriyor. Model; Mamba-2, Attention ve LatentMoE bileşenlerini birleştiriyor. NVIDIA, 1 milyon tokene kadar bağlam desteği açıklıyor. Ayrıca araç kullanımı ile çok adımlı ajan görevlerini öne çıkarıyor.
Örneğin bir ajan önce kurum belgelerinde arama yapabilir. Ardından CRM verisini sorgular ve iki kaynağı birlikte yorumlar. Bu yüzden Nemotron, ajan tabanlı RAG için test etmeye değer. vLLM dağıtım tarifi , NVFP4 ile tek RTX PRO 6000 üzerinde örnek kurulum gösteriyor. Ancak bu tarif 262.144 token bağlam sınırı kullanıyor.
Bununla birlikte 1 milyon token desteği, tek 96 GB GPU’da aynı bağlamla rahatça hizmet vereceği anlamına gelmez. NVIDIA’nın resmî dil listesinde Türkçe yer almıyor. Dolayısıyla Türkçe RAG başarısını ayrıca test etmeliyiz. Nemotron, Apache 2.0 yerine NVIDIA Nemotron Open Model License kullanıyor.
96 GB VRAM: Qwen, gpt-oss ve Nemotron karşılaştırması
96 GB VRAM üzerinde model seçerken toplam parametreye bakmak yetmez. Tablo; bağlamı, kuantizasyonu, lisansı ve tek GPU referansını birlikte gösteriyor. Ancak modelin azami bağlamını tek GPU için performans garantisi olarak görmemeliyiz.
| Özellik | Qwen3.5-122B-A10B | gpt-oss-120b | Nemotron 3 Super |
|---|---|---|---|
| Toplam / aktif parametre | 122B / 10B | 117B / 5,1B | 120B / 12B |
| MoE mimarisi | DeltaNet + dikkat + MoE | Transformer MoE | Mamba-2 + Attention + LatentMoE |
| Bağlam kapasitesi | 262K doğal; ek yöntemlerle daha uzun bağlam | 131K | 1M’ye kadar |
| Tek 96 GB GPU yaklaşımı | GPTQ-Int4; tek GPU testi gerekli | MXFP4; tek 80 GB H100 referansı | NVFP4; tek RTX PRO 6000 tarifi |
| Türkçe RAG için yorum | İlk kalite testi adayı | Kaynak sadakati testi gerekli | Resmî dil listesinde Türkçe yok |
| Öne çıkan kullanım | Çok dilli belgeler | Metin ve araç çağırma | Uzun bağlam ve ajanlar |
| Ticari kullanım lisansı | Apache 2.0 | Apache 2.0 | Nemotron Open Model License |
Not: Tek GPU referansı, aynı anda çok kullanıcıya hizmet verme garantisi değildir. Uzun bağlam ve KV cache, ek VRAM gerektirebilir.
96 GB VRAM, kurumsal RAG için yeterli mi?
Öncelikle 96 GB VRAM bütçesinde modelin belleğe sığması yalnızca ilk adımdır. Çünkü model ağırlıkları dışında KV cache, geçici çalışma alanı ve eşzamanlı istekler de yer kaplar. Ayrıca GPU mimarisi ile sunum motoru gerçek kullanım kapasitesini değiştirir.
Öte yandan RAG, her soruda arşivin tamamını modele göndermez. Önce ilgili belge parçalarını bulur. Bu nedenle büyük bir arşiv her zaman milyon tokenlık bağlam gerektirmez. Asıl belirleyici, yanıt için gereken belge miktarı ve eşzamanlı kullanıcı yüküdür.
96 GB GPU belleğini neler kullanır?
Modelin GPU’ya sığması ilk adımdır. Çalışma sırasında üç bellek kalemini birlikte düşünmeliyiz.
Bu gösterim bir bellek oranı grafiği değildir. Boş VRAM miktarını model, bağlam uzunluğu ve iş yükü belirler; tek bir kapasite değerinden performans garantisi çıkaramayız.
96 GB VRAM tüketimini önce 8K–32K aralığında ölçebiliriz. Ardından daha uzun belgeleri ve birden fazla kullanıcının eşzamanlı isteklerini deneriz. Özellikle ilk token süresi, saniyedeki çıktı tokenı ve tepe bellek kullanımını izlemeliyiz. Böylece kartın sınırlarını görürüz. Ancak çok kısa bağlamın karmaşık sorularda yanıt kalitesini düşürebileceğini de hesaba katarız.
RAG doğruluğu: Benchmark neden tek başına yetmez?
Benchmark sonuçları model kalitesi için başlangıç sunar, ancak kurumsal RAG başarısını tek başına açıklamaz. Örneğin Qwen ekibinin yayımladığı karşılaştırmada MMLU-Pro puanları Qwen3.5-122B-A10B için 86,7, gpt-oss-120b için 80,8. Bu sayıları Qwen ekibi paylaşıyor. Üstelik bu test, Türkçe belgelerde yanıt doğruluğunu veya kaynak sadakatini doğrudan ölçmüyor.
Benzer şekilde NVIDIA, Nemotron için yüksek throughput sonuçları paylaşıyor. Fakat üreticiler farklı GPU’lar ve test ayarları kullanabiliyor. Bu yüzden sonuçları 96 GB VRAM üzerinde birebir hız tahmini sayamayız. En güvenilir yaklaşım, kendi kurum belgelerimizle yanıt doğruluğunu ve kaynak sadakatini birlikte ölçmek.
96 GB VRAM için RAG modelini nasıl test etmeliyiz?
Kurum ağırlıklı olarak Türkçe prosedür ve teknik belge kullanıyorsa Qwen3.5 ile kalite testine başlayabilir. Buna karşılık tek GPU kurulum referansı ve araç çağırma öncelik taşıyorsa gpt-oss-120b ile başlayabiliriz. Blackwell üzerinde çok adımlı ajanlar geliştiren ekipler ise Nemotron 3 Super’i karşılaştırmaya ekleyebilir. Böylece 96 GB VRAM için kararımızı yalnızca genel sıralamalara dayandırmayız.
İlk olarak tüm modellerde aynı belge parçalama ve arama ayarlarını koruyun. Ardından sadece LLM’i değiştirerek doğruluk ve kaynak sadakatini karşılaştırın. Bunun yanında ilk token gecikmesini, token/s hızını ve eşzamanlı kullanıcı kapasitesini ölçün. Son olarak arama katmanında belge erişim yetkilerini uygulayın. Böylece model, kullanıcının erişemeyeceği doküman parçalarını hiç görmez.
96 GB VRAM ile hangi açık MoE modeli seçilmeli?
Türkçe ve İngilizce belge ağırlıklı 96 GB VRAM RAG projelerinde Qwen3.5-122B-A10B ilk kalite testine değer. Ancak tek kartta sorunsuz çalışma ya da en yüksek hız garantisi vermiyoruz. Dolayısıyla önce gerçek GPU bellek tüketimini ve kendi belgelerimizdeki kaynak sadakatini ölçmeliyiz.
Öte yandan tek GPU için resmî kurulum örneğine öncelik veriyorsak gpt-oss-120b güçlü bir seçenek sunuyor. Bunun yanında Nemotron 3 Super’in NVFP4 sürümünü Blackwell donanımında deneyebiliriz. Sonuç olarak en uygun modeli, doğruluk, yanıt süresi, kaynak sadakati ve gerçek 96 GB VRAM tüketimi belirlemeli.
Kurumsal RAG altyapınızı birlikte planlayalım
Yerel LLM kurulumu, GPU sunucu ve kapasite planlaması için uzman ekibimizle iletişime geçin.