Performance Rating
NVIDIA H100 SXM5 96 GB outperforms NVIDIA GeForce RTX 4090 by 80.72% in the overall GPU ARK performance rating
NVIDIA H100 SXM5 96 GB
Expert Comparison
NVIDIA GeForce RTX 4090 более подходящий выбор для игр и средней интенсивности задач благодаря своей более низкой потребляемой мощности и более высокому GPI (32.1 против 57.9 у H100). NVIDIA H100 SXM5 96 GB лучше для вычислительной мощности и обработки больших объемов данных из-за огромной памяти (96 ГБ) и высокой пропускной способности (3.36 TB/s), что делает его идеальным для научных вычислений и AI-приложений.
Contents:
Memory ML Performance Compute Power Architecture & Compatibility ML Software Support Clocks & Performance Power Consumption Rendering Benchmarks AdditionalMemory
Memory Size
+300%
96
ГБ
Memory Type
Memory Bandwidth
+233%
3.36 TB/s
Memory Bus Width
ML Performance
FP16 (Half Precision)
+224%
267.6
TFLOPS
BF16 (Brain Float)
TF32 (TensorFloat)
Compute Power
FP32 (Single Precision)
+23%
82.58
TFLOPS
FP64 (Double Precision)
33.45
TFLOPS
CUDA Cores
+3%
16,896
RT Cores
128
Architecture & Compatibility
GPU Architecture
SM (Streaming Multiprocessor)
+3%
132
PCIe Version
ML Software Support
CUDA Version
9.0
Clocks & Performance
Base Clock
+66%
2,235
Boost Clock
+27%
2,520
Memory Clock
Power Consumption
TDP/TGP
-36%
450 W
Recommended PSU
-23%
850 W
Power Connector
Rendering
Texture Units (TMU)
+3%
528
ROP
128
L2 Cache
+44%
72 MB
Benchmarks
MLPerf, llama3.1-8b-edge (fp32)
llama.cpp, llama 7B Q4_0
+61%
248.8 tokens/s
llama.cpp, llama-2-7b-Q4_0
+49%
280.7 tokens/s
Geekbench AI, FP16
Geekbench AI, INT8
Geekbench AI, FP32
Additional
Slots
SXM Module
Release Date
Display Outputs
Renting is cheaper than buying
H100 80Gb SXM (80GB)
NVIDIA
Флагманская GPU на архитектуре Hopper с 80 ГБ памяти HBM3 в форм-факторе SXM. Создана для обучения и инференса больших языковых моделей, HPC задач. Поддерживает FP64, FP32, TF32, FP16, BF16, FP8 и INT8 вычисления с Tensor Cores 4-го поколения.
from 299.11 RUB/hour
