NVIDIA L40S
NVIDIA® L40S
SKU: NVL40STCGPU-KIT
NVIDIA L40S
Veri Merkezi için Benzersiz Yapay Zeka ve Grafik Performansı
Ada Lovelace mimarisini temel alan NVIDIA L40S GPU, veri merkezi için en güçlü evrensel GPU’dur ve büyük dil modeli (LLM) çıkarımı ve eğitimi, grafik ve video uygulamaları için çığır açan çoklu iş yükü hızlandırması sağlar. Çok modlu üretken yapay zeka için önde gelen platform olan L40S GPU, yeni nesil yapay zeka destekli ses, konuşma, 2D, video ve 3D’ye güç vermek için çıkarım, eğitim, grafik ve video iş akışları için uçtan uca hızlandırma sağlar uygulamalar.
GPU Mimarisi |
NVIDIA Ada Lovelace Mimarisi |
|---|---|
GPU Belleği |
ECC’li 48 GB GDDR6 |
Bellek Bant Genişliği |
PCIe Gen4x 16: 64 GB/s çift yönlü |
CUDA™ Çekirdekleri |
18.176 |
RT Çekirdekleri |
142 |
Tensör Çekirdekleri |
568 |
RT Çekirdek Performansı |
212 TFLOP |
FP32 |
91,6 TFLOP |
TF32 Tensör Çekirdeği |
366 TFLOP |
BFLOAT16 Tensör Çekirdeği |
366 I 733 2 TFLOPS |
FP16 Tensör Çekirdeği |
366 I 733 2 TFLOPS |
FP8 Tensör Çekirdeği |
733 I 1466 2 TFLOPS |
Tepe INT8 Tensörü |
733 I 1466 2 ÜST |
Tepe INT4 Tensörü |
733 I 1466 2 ÜST |
Form faktörü |
4,4″ (Y) x 10,5″ (U), çift yuva |
Ekran Bağlantı Noktaları |
4 adet DisplayPort 1.4a |
Maksimum Güç Tüketimi |
350W |
Güç bağlantısı |
16 pinli |
Termal |
Pasif |
Sanal GPU (vGPU) Yazılım Desteği |
Evet |
NVENC ve NVDEC |
3x l 3x (AV1 Kodlama ve Kod Çözme içerir) |
Güven Kökü ile Güvenli Önyükleme |
Evet |
NEBS’e Hazır |
3. seviye |
MIG Desteği |
HAYIR |
- Ön spesifikasyonlar değişebilir.
- Seyreklik içeren özellikler.
1. L4’ün FP8’i T4’ün FP16’sına kıyasla.
2. 720p30’da 8x L4 AV1 düşük gecikmeli P1 ön ayar kodlaması.
3. 8x L4 vs 2S Intel 8362 CPU sunucu performans karşılaştırması: CV-CUDA ön ve son işleme, kod çözme, çıkarım (SegFormer), kodlama, TRT 8.6 ile uçtan uca video işlem hattı vs OpenCV kullanan sadece CPU işlem hattı.