Mistral AI ve NVIDIA, Son Teknoloji Kurumsal AI Modeli Mistral NeMo 12B’yi Tanıttı
Mistral AI ve NVIDIA, Son Teknoloji Kurumsal AI Modeli Mistral NeMo 12B’yi Tanıttı
Mistral AI ve NVIDIA bugün , geliştiricilerin sohbet robotlarını, çok dilli görevleri, kodlamayı ve özetlemeyi destekleyen kurumsal uygulamalar için kolayca özelleştirip dağıtabilecekleri yeni bir son teknoloji dil modeli olan Mistral NeMo 12B’yi yayınladı.
Mistral AI’nın eğitim verilerindeki uzmanlığını NVIDIA’nın optimize edilmiş donanım ve yazılım ekosistemiyle birleştiren Mistral NeMo modeli, farklı uygulamalar için yüksek performans sunuyor.
Mistral AI’nın kurucu ortağı ve baş bilim insanı Guillaume Lample, “NVIDIA ekibiyle iş birliği yaparak en üst düzey donanım ve yazılımlarından yararlandığımız için şanslıyız” dedi. “Birlikte, NVIDIA AI Enterprise dağıtımı sayesinde benzeri görülmemiş doğruluk, esneklik, yüksek verimlilik ve kurumsal düzeyde destek ve güvenlik sağlayan bir model geliştirdik.”
Mistral NeMo , en son NVIDIA mimarisine özel, ölçeklenebilir erişim sunan NVIDIA DGX Cloud AI platformunda eğitim aldı .
Süreci ilerletmek ve optimize etmek için, büyük dil modelleri üzerinde hızlandırılmış çıkarım performansı sağlayan NVIDIA TensorRT-LLM ve özel üretken yapay zeka modelleri oluşturmak için NVIDIA NeMo geliştirme platformu da kullanıldı.
Bu iş birliği NVIDIA’nın model oluşturma ekosistemini destekleme konusundaki kararlılığını vurguluyor.
Benzersiz Doğruluk, Esneklik ve Verimlilik Sunuyoruz
Çok yönlü konuşmalar, matematik, sağduyulu muhakeme, dünya bilgisi ve kodlamada mükemmel olan bu kurumsal düzeydeki yapay zeka modeli, çeşitli görevlerde hassas ve güvenilir performans sunar.
128K bağlam uzunluğuyla Mistral NeMo, kapsamlı ve karmaşık bilgileri daha tutarlı ve doğru bir şekilde işleyerek bağlamsal olarak alakalı çıktılar sağlar.
Yeniliği teşvik eden ve daha geniş AI topluluğunu destekleyen Apache 2.0 lisansı altında yayınlanan Mistral NeMo, 12 milyar parametreli bir modeldir. Ayrıca, model, bellek boyutunu azaltan ve doğrulukta herhangi bir bozulma olmadan dağıtımı hızlandıran model çıkarımı için FP8 veri biçimini kullanır.
Bu, modelin görevleri daha iyi öğrendiği ve çeşitli senaryoları daha etkili bir şekilde ele aldığı anlamına gelir; bu da onu kurumsal kullanım durumları için ideal hale getirir.
Mistral NeMo , NVIDIA TensorRT-LLM motorlarıyla performans açısından optimize edilmiş çıkarımlar sunan bir NVIDIA NIM çıkarım mikro servisi olarak paketlenmiştir .
Bu konteynerleştirilmiş format, her yere kolayca dağıtım imkânı sunarak çeşitli uygulamalar için gelişmiş esneklik sağlar.
Sonuç olarak, modeller birkaç gün yerine dakikalar içinde her yere dağıtılabiliyor.
NIM, NVIDIA AI Enterprise’ın bir parçası olan kurumsal düzeyde yazılım , özel özellik dalları, titiz doğrulama süreçleri ve kurumsal düzeyde güvenlik ve destek sunar.
Kapsamlı destek, NVIDIA AI uzmanına doğrudan erişim ve tanımlanmış hizmet seviyesi anlaşmaları ile güvenilir ve tutarlı performans sunar.
Açık model lisansı, işletmelerin Mistral NeMo’yu ticari uygulamalara sorunsuz bir şekilde entegre etmelerine olanak tanır.
Tek bir NVIDIA L40S, NVIDIA GeForce RTX 4090 veya NVIDIA RTX 4500 GPU’nun belleğine sığacak şekilde tasarlanan Mistral NeMo NIM, yüksek verimlilik, düşük hesaplama maliyeti ve gelişmiş güvenlik ve gizlilik sunuyor.
Gelişmiş Model Geliştirme ve Özelleştirme
Mistral AI ve NVIDIA mühendislerinin bir araya gelerek geliştirdiği uzmanlık, Mistral NeMo için eğitimi ve çıkarımı optimize etti.
Özellikle çok dillilik, kod ve çok turlu içerik konularında Mistral AI’nın uzmanlığından yararlanılarak eğitilen model, NVIDIA’nın tüm yığınında hızlandırılmış eğitimden faydalanıyor.
Megatron-LM ile verimli model paralellik teknikleri, ölçeklenebilirlik ve karma hassasiyetin kullanılmasıyla optimum performans için tasarlanmıştır.
Model, NVIDIA NeMo’nun bir parçası olan Megatron-LM kullanılarak , hızlandırılmış hesaplama, ağ yapısı ve eğitim verimliliğini artırmaya yönelik yazılımlar içeren NVIDIA AI mimarisinden oluşan DGX Cloud üzerinde 3.072 adet H100 80GB Tensor Core GPU ile eğitildi .
Kullanılabilirlik ve Dağıtım
Bulut, veri merkezi veya RTX iş istasyonu gibi her yerde çalışabilme esnekliğine sahip Mistral NeMo, çeşitli platformlardaki yapay zeka uygulamalarında devrim yaratmaya hazır.
Mistral NeMo’yu bugün ai.nvidia.com üzerinden bir NVIDIA NIM olarak deneyimleyin ; yakında indirilebilir bir NIM de geliyor.
