Оценка производительности
NVIDIA H100 SXM5 96 GB опережает NVIDIA Tesla T4 на 799,69% в суммарном рейтинге производительности GPU ARK
NVIDIA Tesla T4
Содержание:
Память ML-производительность Вычислительная мощность Архитектура и совместимость Программная поддержка ML Частоты и производительность Энергопотребление Рендеринг Бенчмарки ДополнительноПамять
Объем памяти
+500%
96
ГБ
Тип памяти
Пропускная способность памяти
3.36 TB/s
Ширина шины памяти
ML-производительность
FP16 (half)
+311%
267,6
TFLOPS
BF16
TF32
Вычислительная мощность
FP32 (float)
+722%
66,91
TFLOPS
FP64 (double)
+13 049%
33,45
TFLOPS
CUDA ядра
+560%
16 896
RT ядра
Архитектура и совместимость
Архитектура GPU
SM (Streaming Multiprocessor)
+230%
132
PCIe версия
Программная поддержка ML
CUDA версия
9.0
Частоты и производительность
Base Clock
+131%
1 350
Boost Clock
+25%
1 980
Memory Clock
+5%
1 313
Энергопотребление
TDP/TGP
-90%
70 W
Рекомендуемый БП
-77%
250 W
Разъём питания
Рендеринг
Текстурные блоки (TMU)
+230%
528
ROP
L2 Cache
+1 150%
50 MB
Бенчмарки
LLM Perf, Llama-2-7b-hf (bnb)
LLM Perf, Llama-2-7b-hf (gptq)
LLM Perf, Llama-2-7b-hf (unquantized)
LLM Perf, Llama-3.1-8B-Instruct (awq)
LLM Perf, Llama-3.1-8B-Instruct (bnb)
LLM Perf, Llama-3.1-8B-Instruct (gptq)
LLM Perf, Meta-Llama-3-8B (awq)
LLM Perf, Meta-Llama-3-8B (bnb)
LLM Perf, Meta-Llama-3-8B (gptq)
LLM Perf, Meta-Llama-3-8B-Instruct (awq)
LLM Perf, Meta-Llama-3-8B-Instruct (bnb)
LLM Perf, Meta-Llama-3-8B-Instruct (gptq)
llama.cpp, llama 7B Q4_0
llama.cpp, llama-2-7b-Q4_0
+505%
280.7 tokens/s
LLM Perf, Mistral-7B-Instruct-v0.2 (gptq)
LLM Perf, Mistral-7B-v0.1 (bnb)
LLM Perf, Mistral-7B-v0.1 (gptq)
LLM Perf, Mistral-7B-v0.1 (unquantized)
Дополнительно
Слоты
SXM Module
Дата выпуска
Дисплейные порты
Арендовать дешевле, чем покупать
H200 (141GB)
NVIDIA
Первая GPU с памятью HBM3e (141 ГБ) на архитектуре Hopper. Создана для генеративного ИИ и HPC задач. До 2X быстрее для LLM inference по сравнению с H100. Поддерживает FP8, FP16, TF32 и другие форматы точности.
от 375,0 руб/час
H100 80Gb PCIe (80GB)
NVIDIA
Флагманская GPU на архитектуре Hopper с 80 ГБ памяти HBM3. Создана для обучения и инференса больших языковых моделей, HPC задач. Поддерживает FP64, FP32, TF32, FP16, BF16, FP8 и INT8 вычисления с Tensor Cores 4-го поколения.
от 299,11 руб/час
H100 80Gb SXM (80GB)
NVIDIA
Флагманская GPU на архитектуре Hopper с 80 ГБ памяти HBM3 в форм-факторе SXM. Создана для обучения и инференса больших языковых моделей, HPC задач. Поддерживает FP64, FP32, TF32, FP16, BF16, FP8 и INT8 вычисления с Tensor Cores 4-го поколения.
от 299,11 руб/час
Tesla A100 (80GB)
NVIDIA
Видеокарта для исследований на пике современных алгоритмов LLM, CV и пр. Создана специально для ML вычислений.
от 200,89 руб/час
RTX 4090 (48GB)
NVIDIA
Десктопная карта с аппаратной поддержкой Ray Tracing, DLSS 3.5, кодеками H.264/H.265/AV1 и увеличенной видеопамятью 48 ГБ GDDR6X.
от 81,85 руб/час
RTX 3090 (24GB)
NVIDIA
Десктопная карта с аппаратной поддержкой Ray Tracing, DLSS, H.264, H.265
от 34,23 руб/час
RTX A5000 (24GB)
NVIDIA
Создана для обработки видеопотоков, готова к виртуализации. Профессиональная карта с аппаратной поддержкой Ray Tracing, DLSS, H.264, H.265
от 31,25 руб/час
Tesla A10 (24GB)
NVIDIA
Видеокарта идеальная для инференса ИИ, обработки видео, CAD и BIM проектирования, CAE исследований, поддерживающих вычисления на GPU.
от 26,79 руб/час
