Hirdetés

Részletezte a H100-as gyorsítók specifikációját az NVIDIA

Korábban csak nagyjából adták meg a várható teljesítményt, de most már pontos információkkal szolgáltak.

Még az idei esztendő tavaszán elemeztük az NVIDIA Hopper architektúrát, amely a H100 SXM5 és H100 PCIe modellek formájában volt beharangozva. Akkoriban azonban a vállalat eléggé lazán adta meg a paramétereket, kihangsúlyozva persze, hogy a bejelentett teljesítményt biztos tudni fogják a fejlesztések, de specifikált hardverek híján pontosabb információkkal nem szolgálhatnak.

Az NVIDIA most kiadta a végleges specifikációkat, amelyek már a tényleges, később megvásárolható termékek paramétereit reprezentálják, és ezeket az alábbi táblázat részletezi:

NVIDIA Hopper architektúrára épülő H100 modellek
Típus H100 SXM5 H100 PCIe
GPU Boost órajel 1,98 GHz
1,75 GHz
GPC-k száma 9 8
TPC-k száma 66 57
FP32 magok száma 16 896 14 592
FP64 magok száma 8448 7296
INT32 magok száma 8448 7296
Tensor magok száma 528 456
Textúrázók száma 528 456
Elméleti számítási teljesítmény (FP32) 34 TFLOPS 26 TFLOPS
Elméleti számítási teljesítmény (FP64) 67 TFLOPS 51 TFLOPS
Elméleti számítási teljesítmény (TF32 Tensor) 989 TFLOPS 756 TFLOPS
Elméleti számítási teljesítmény (FP64 Tensor) 67 TFLOPS 51 TFLOPS
Elméleti számítási teljesítmény (BFloat16 Tensor) 1979 TFLOPS 1513 TFLOPS
Elméleti számítási teljesítmény (FP16 Tensor) 1979 TFLOPS 1513 TFLOPS
Elméleti számítási teljesítmény (FP8 Tensor) 3958 TFLOPS 3026 TFLOPS
Elméleti számítási teljesítmény (Int8 Tensor) 3958 TOPS 3026 TOPS
Memóriabusz szélessége 5120 bit
Memória típusa HBM3 HBM2e
Effektív memória-órajel 5,2 GHz 3,2 GHz
Memória-sávszélesség 3,35 TB/s
2 TB/s
Memória kapacitása 80 GB
Maximális fogyasztás 700 W 350 W
NVLink sávszélessége
900 GB/s
600 GB/s
PCI Express interfész
PCI Express 5.0
Formátum
SXM5 PCI Express

A táblázatban minden adat látszik, de fontos kiemelni, hogy a különböző tensor adattípusokra vonatkozó tempó az FP64 kivételével structural sparsity mellett értendő, a valós teljesítmény a megadott értékek fele.

Lényeges információ, hogy az SMX5 formátumú kiadás hűtését a szerveren belüli légáramlatok szintjén kell biztosítani, míg a PCI Express 5.0-s csatolóba helyezhető bővítőkártya ezt nem igényli, mivel gyárilag tartalmaz ventilátort a hűtőrendszere. A fogyasztás tekintetében is hasznos információ, hogy az NVIDIA maximális paramétereket ad meg, amelyeket a megrendelő egyénileg konfigurálhat. Ez az SMX5 formátumú modell esetében elég széles spektrumon történhet, míg a bővítőkártyaként megjelenő verziónál a 300-350 watt közötti paraméterezés a megengedett. Az NVIDIA a hardverek teljesítményét a maximális fogyasztásra adja meg, tehát minden opcionális korlátozás tempóveszteséggel jár.

Azóta történt

Előzmények

Hirdetés