Daha Büyük, Daha Hızlı Bellekle Daha Yüksek PerformansNVIDIA Hopper™ mimarisine dayanan NVIDIA H200 NVL, saniyede 4,8 terabayt (TB/s) hızında 141 gigabayt (GB) HBM3e belleği sunan ilk GPU’dur; bu, NVIDIA H100 Tensor Core GPU’nun kapasitesinin neredeyse iki katıdır ve 1,4 kat daha fazla bellek bant genişliğine sahiptir. H200’ün daha büyük ve daha hızlı belleği, daha iyi enerji verimliliği ve daha düşük toplam sahip olma maliyetiyle HPC iş yükleri için bilimsel bilgi işlemi ilerletirken, üretken AI ve LLM’leri hızlandırır. Yüksek Performanslı LLM Çıkarımıyla İçgörülerin Kilidini AçınSürekli gelişen yapay zeka ortamında, işletmeler çeşitli çıkarım ihtiyaçlarını karşılamak için LLM’lere güvenir. Bir yapay zeka çıkarım hızlandırıcısı, büyük bir kullanıcı tabanına ölçeklendirildiğinde en düşük TCO’da en yüksek verimi sağlamalıdır. H200, Llama2 gibi LLM’leri işlerken çıkarım hızını H100 GPU’larına kıyasla 2 kata kadar artırır. |
| Özellik | Detay |
|---|---|
| GPU Mimarisi | NVIDIA Hopper™ |
| CUDA Çekirdek Sayısı | 16,896 |
| Tensör Çekirdek Sayısı | 528 |
| Bellek Kapasitesi | 141 GB HBM3e |
| Bellek Türü | HBM3e (High Bandwidth Memory) |
| Bellek Bant Genişliği | 4.8 TB/s |
| FP64 Performansı | 67 TFLOPS |
| FP32 Performansı | 67 TFLOPS |
| FP16 Performansı | 1979 TFLOPS |
| INT8 Performansı | 3958 TFLOPS |
| Bağlantı | NVIDIA NVLink® (900 GB/s çift yönlü bant genişliği) |
| NVSwitch Desteği | Evet (Büyük sistemlerde çoklu GPU iletişimi için) |
| Performans Artışı | LLM çıkarımında 1.8X, HPC iş yüklerinde 110X daha hızlı |
| AI İş Yükleri | Generative AI, HPC, LLM çıkarımı, derin öğrenme |
| Enerji Verimliliği | %50’ye kadar daha yüksek enerji verimliliği |
| Toplam Güç Tüketimi | 600W'a kadar yapılandırılabilir. |
| Form Faktörü | PCIe x16 Gen5 |
| İşlem Düğümleri | 2 veya 4 yollu NVIDIA NVLink köprüsü: 900 GB/sn PCIe Gen5: 128 GB/sn |
| Soğutma | Hava ve sıvı soğutma seçenekleri |
| Desteklenen Yazılımlar | NVIDIA AI Enterprise, CUDA, cuDNN, TensorRT |
| AI Enterprise Desteği | 5 yıl |
| Uygulama Alanları | Bilimsel araştırmalar, simülasyonlar, yapay zeka çıkarımı, doğal dil işleme (NLP), büyük dil modelleri (LLMs) |