AMD Radeon Instinct MI325X

AMD Radeon Instinct MI325X — 288 Гб HBM3e, 19,456 ядер, GPI 100.0

Loading...

Performance Rating

The Radeon Instinct MI325X is a professional graphics card by AMD, launched in October 2024. Built on the 5 nm process, and based on the Aqua Vanjaram graphics processor, the card does not support DirectX. Since Radeon Instinct MI325X does not support DirectX 11 or DirectX 12, it might not be able to run all the latest games. The Aqua Vanjaram graphics processor is a large chip with a die area of 1017 mm² and 153,000 million transistors. It features 19456 shading units, 1216 texture mapping units, and 0 ROPs. Also included are 1216 tensor cores which help improve the speed of machine learning applications. AMD has paired 288 GB HBM3e memory with the Radeon Instinct MI325X, which are connected using a 8192-bit memory interface. The GPU is operating at a frequency of 1000 MHz, which can be boosted up to 2100 MHz, memory is running at 2525 MHz.

A100 A100
H200 H200
MI325X MI325X

AMD Radeon Instinct MI325X

100.0

AMD Radeon Instinct MI325X

100.0

Memory

Memory Size

288 ГБ

Memory Type

Memory Bandwidth

10.3 TB/s

Memory Bus Width

8,192 бит

ML Performance

FP16 (Half Precision)

653.7 TFLOPS
998.4 TFLOPS
(Intel UHD Graphics 730)

BF16 (Brain Float)

No TFLOPS
311.84 TFLOPS
(NVIDIA A800 SXM4 80 GB)

TF32 (TensorFloat)

Compute Power

FP32 (Single Precision)

81.72 TFLOPS

FP64 (Double Precision)

81.72 TFLOPS
1,204,000.0 TFLOPS
(AMD Radeon RX 7900M)

CUDA Cores

Architecture & Compatibility

GPU Architecture

CDNA 3.0

SM (Streaming Multiprocessor)

PCIe Version

PCIe 5.0 x16

ML Software Support

CUDA Version

Clocks & Performance

Base Clock

Boost Clock

Memory Clock

Power Consumption

TDP/TGP

1000 W
unknown
(NVIDIA CMP 70HX)

Recommended PSU

Power Connector

Rendering

Texture Units (TMU)

Benchmarks

MLPerf, llama2-70b-99.9 (Dummy)

3 596 tokens/s

MLPerf, llama2-70b-99.9 (fp8)

1 946 tokens/s
2 444 tokens/s
(NVIDIA H200 SXM 141 GB)

llama.cpp, llama-2-7b-Q4_0

22.4 tokens/s
280.7 tokens/s
(NVIDIA H100 SXM5 96 GB)

MLPerf, mixtral-8x7b (fp8)

6 975 tokens/s
7 132 tokens/s
(NVIDIA H200 SXM 141 GB)

Additional

Slots

OAM Module
SXM Module
(NVIDIA H200 SXM 141 GB)

Release Date

Oct. 15, 2024

Display Outputs

No outputs
4x mini-DisplayPort 2.0
4x HDMI 2.1
(SPARKLE Arc A310 OmniView)

FAQ

Для каких задач подходит видеокарта AMD Radeon Instinct MI325X?

Видеокарта AMD Radeon Instinct MI325X предназначена для высокопроизводительных вычислений, машинного обучения (ML), искусственного интеллекта (AI) и рендеринга. Она идеально подходит для задач, требующих больших объемов оперативной памяти и высокой пропускной способности, таких как тренировка больших моделей нейронных сетей, научные вычисления и создание высококачественных графических изображений.

С какими конкурентами сравнить и чем отличается эта видеокарта?

Видеокарта AMD Radeon Instinct MI325X может быть сравнена с NVIDIA A100 и H100. Она отличается от NVIDIA A100 своей архитектурой CDNA 3.0, что обеспечивает лучшую производительность в некоторых вычислительных задачах, особенно в области машинного обучения. Однако NVIDIA H100 может иметь более высокие показатели в некоторых сценариях использования благодаря своим более современным технологиям и большему количеству ядер.

Достаточно ли питания и охлаждения для этой карты?

Видеокарта AMD Radeon Instinct MI325X потребляет 1000 Вт энергии, что требует мощного блока питания и эффективного охлаждения. Для ее работы рекомендуется использовать блок питания мощностью не менее 1200 Вт с хорошей эффективностью и качественным охлаждением. Корпус должен обеспечивать достаточное количество воздуха для циркуляции и удаления тепла.

Стоит ли брать эту карту в 2025-2026 году?

Конечно, стоит рассмотреть приобретение AMD Radeon Instinct MI325X в 2025-2026 году, если вам нужны мощные вычислительные возможности для ML, AI или рендеринга. Эта видеокарта будет актуальна до тех пор, пока новые модели не станут доступнее и более производительными. Однако стоит учесть, что стоимость может измениться, поэтому рекомендуется следить за ценовыми тенденциями и отзывами пользователей.

Recommendations

Эта видеокарта AMD Radeon Instinct MI325X предназначена для вычислительно-интенсивных задач, таких как машинное обучение (ML) и искусственный интеллект (AI), благодаря своей мощной архитектуре CDNA 3.0 и высоким показателям пропускной способности памяти и вычислительной мощности. Она также может быть полезна для научных вычислений и симуляций, но не подходит для игр или офисных задач.

Renting is cheaper than buying