NVIDIA L4
NVIDIA L4
SKU: NVL4TCGPU-KIT
NVIDIA L4
Verimli Video, Yapay Zeka ve Grafikler için Çığır Açan Evrensel Hızlandırıcı
NVIDIA’nın yapay zeka platformu ve tam yığın yaklaşımı ile L4, en iyi kişiselleştirilmiş deneyimleri sunmak için öneriler, ses tabanlı yapay zeka avatar asistanları, üretken yapay zeka, görsel arama ve iletişim merkezi otomasyonu dahil olmak üzere çok çeşitli yapay zeka uygulamaları için geniş ölçekte video ve çıkarım için optimize edilmiştir. Ana akım için en verimli NVIDIA hızlandırıcısı olan L4 ile donatılmış sunucular, CPU çözümlerine göre 120 kata kadar daha yüksek AI Video performansı sağlarken, önceki nesle göre 2,7 kat daha fazla üretken AI performansı ve 4 kattan fazla daha fazla grafik performansı sağlar. NVIDIA L4’ün çok yönlülüğü ve enerji tasarruflu, tek yuvalı, düşük profilli form faktörü, onu uç konumlar da dahil olmak üzere küresel dağıtımlar için ideal hale getirir.
Yapay zeka ve video daha yaygın hale geldikçe verimli, uygun maliyetli bilgi işleme olan talep her zamankinden daha fazla artıyor. NVIDIA L4 GPU’lar, geleneksel CPU tabanlı altyapıya kıyasla %99’a kadar daha iyi enerji verimliliği ve daha düşük toplam sahip olma maliyeti sunar. Bu, işletmelerin raf alanını azaltmasını ve genel karbon ayak izini önemli ölçüde düşürmesini sağlarken veri merkezlerini çok daha fazla kullanıcıya ölçeklendirebilir hale getirir. CPU’lardan NVIDIA L4’lere geçerek 2 megawatt (MW) veri merkezinde tasarruf edilen enerji, bir yıl boyunca 2.000’den fazla eve güç sağlayabilir veya 10 yıl boyunca yetiştirilen 172.000 ağacın karbon dengelemesini sağlayabilir.
FP32 |
30.3 TFLOPS |
|---|---|
TF32 Tensor Core |
120 TFLOPS | Sparsity |
FP16 Tensor Core |
242 TFLOPS | Sparsity |
BFLOAT16 Tensor Core |
242 TFLOPS | Sparsity |
FP8Tensor Core |
485 TFLOPS | Sparsity |
INT8 Tensor Core |
485 TOPS | Sparsity |
GPU Memory |
24GB |
GPU Memory Bandwidth |
300 GB/s |
Display Connectors |
None | vGPU Only |
NVENC | NVDEC |
2 | 4 | 4| JPEG Decoders | AV1 Encode and Decode |
Form Factor |
Single Slot | Low-Profile |
System Interconnect |
PCIe Gen4 x16 | 64GB/s |
Thermal Solution |
Passive |
Maximum Power Consumption |
72 W |
Server Options |
Partner and NVIDIA-Certified Systems with 1-8 GPUs |
NVIDIA L4 ADA LOVELACE MİMARİ ÖZELLİKLERİ
Dördüncü Nesil Tensör Çekirdekleri
- Yeni Ada Lovelace mimarisi Tensör Çekirdekleri, akıllı sohbet robotları, üretken yapay zeka, doğal dil işleme (NLP), bilgisayarla görme ve NVIDIA Deep Learning Super Sampling 3.0 (DLSS 3) gibi dönüştürücü yapay zeka teknolojilerini hızlandırmak için tasarlanmıştır. Ada Lovelace Tensör Çekirdekleri, önceki nesle göre 4 kata kadar daha yüksek çıkarım performansı için yapılandırılmış seyreklik ve 8 bit kayan nokta (FP8) hassasiyetini ortaya çıkarır1. FP8, daha büyük hassasiyetlere kıyasla bellek baskısını azaltır ve yapay zeka verimini önemli ölçüde hızlandırır.
Üçüncü Nesil RT Çekirdekleri
- NVIDIA, yoğun performans gerektiren ışın izleme render işlemlerinin üstesinden gelmek için özel olarak tasarlanmış GPU üzerindeki işlem çekirdekleri olan RT Çekirdeklerini icat ederek gerçek zamanlı ışın izlemeyi gerçeğe dönüştürdü. Ada Lovelace’ın üçüncü nesil RT Çekirdekleri, ışın-üçgen kesişim verimini iki katına çıkararak RT-TFLOP performansını 2 kattan fazla artırıyor. NVIDIA Shader Execution Reordering (SER), performansı 3 katın üzerinde artırarak sanal dünyalar için derin ve sürükleyici deneyimlerin yanı sıra yapay zeka tabanlı nöral grafikler ve bulut oyunları için benzeri görülmemiş üretkenlik sağlar.
Gelişmiş Video ve Görüntü AI Hızlandırma
- Optimize edilmiş AV1 yığını ile NVIDIA L4, video ve görsel yapay zeka hızlandırmasını bir üst seviyeye taşıyarak gerçek zamanlı video kod dönüştürme, akış, video konferans, artırılmış gerçeklik (AR), sanal gerçeklik (VR) ve görsel yapay zeka gibi kullanım durumları için çok çeşitli yeni olanaklar yaratır. Dört video kod çözücü ve iki video kodlayıcı ile AV1 video formatını bir araya getiren L4 sunucular, 1.0002’den fazla eş zamanlı video akışına ev sahipliği yapabilir ve CPU çözümlerine göre 120 kat daha fazla AI video uçtan uca işlem hattı performansı sunabilir3. Buna ek olarak, dört JPEG kod çözücü, bilgisayarla görme beygir gücüne ihtiyaç duyan uygulamaları daha da hızlandırır.
1. L4’ün FP8’i T4’ün FP16’sına kıyasla.
2. 720p30’da 8x L4 AV1 düşük gecikmeli P1 ön ayar kodlaması.
3. 8x L4 vs 2S Intel 8362 CPU sunucu performans karşılaştırması: CV-CUDA ön ve son işleme, kod çözme, çıkarım (SegFormer), kodlama, TRT 8.6 ile uçtan uca video işlem hattı vs OpenCV kullanan sadece CPU işlem hattı.