Még az idei esztendő tavaszán elemeztük az NVIDIA Hopper architektúrát, amely a H100 SXM5 és H100 PCIe modellek formájában volt beharangozva. Akkoriban azonban a vállalat eléggé lazán adta meg a paramétereket, kihangsúlyozva persze, hogy a bejelentett teljesítményt biztos tudni fogják a fejlesztések, de specifikált hardverek híján pontosabb információkkal nem szolgálhatnak.
Az NVIDIA most kiadta a végleges specifikációkat, amelyek már a tényleges, később megvásárolható termékek paramétereit reprezentálják, és ezeket az alábbi táblázat részletezi:
| Típus | H100 SXM5 | H100 PCIe |
|---|---|---|
| GPU Boost órajel | 1,98 GHz |
1,75 GHz |
| GPC-k száma | 9 | 8 |
| TPC-k száma | 66 | 57 |
| FP32 magok száma | 16 896 | 14 592 |
| FP64 magok száma | 8448 | 7296 |
| INT32 magok száma | 8448 | 7296 |
| Tensor magok száma | 528 | 456 |
| Textúrázók száma | 528 | 456 |
| Elméleti számítási teljesítmény (FP32) | 34 TFLOPS | 26 TFLOPS |
| Elméleti számítási teljesítmény (FP64) | 67 TFLOPS | 51 TFLOPS |
| Elméleti számítási teljesítmény (TF32 Tensor) | 989 TFLOPS | 756 TFLOPS |
| Elméleti számítási teljesítmény (FP64 Tensor) | 67 TFLOPS | 51 TFLOPS |
| Elméleti számítási teljesítmény (BFloat16 Tensor) | 1979 TFLOPS | 1513 TFLOPS |
| Elméleti számítási teljesítmény (FP16 Tensor) | 1979 TFLOPS | 1513 TFLOPS |
| Elméleti számítási teljesítmény (FP8 Tensor) | 3958 TFLOPS | 3026 TFLOPS |
| Elméleti számítási teljesítmény (Int8 Tensor) | 3958 TOPS | 3026 TOPS |
| Memóriabusz szélessége | 5120 bit | |
| Memória típusa | HBM3 | HBM2e |
| Effektív memória-órajel | 5,2 GHz | 3,2 GHz |
| Memória-sávszélesség | 3,35 TB/s |
2 TB/s |
| Memória kapacitása | 80 GB | |
| Maximális fogyasztás | 700 W | 350 W |
| NVLink sávszélessége |
900 GB/s |
600 GB/s |
| PCI Express interfész |
PCI Express 5.0 |
|
| Formátum |
SXM5 | PCI Express |
A táblázatban minden adat látszik, de fontos kiemelni, hogy a különböző tensor adattípusokra vonatkozó tempó az FP64 kivételével structural sparsity mellett értendő, a valós teljesítmény a megadott értékek fele.
Lényeges információ, hogy az SMX5 formátumú kiadás hűtését a szerveren belüli légáramlatok szintjén kell biztosítani, míg a PCI Express 5.0-s csatolóba helyezhető bővítőkártya ezt nem igényli, mivel gyárilag tartalmaz ventilátort a hűtőrendszere. A fogyasztás tekintetében is hasznos információ, hogy az NVIDIA maximális paramétereket ad meg, amelyeket a megrendelő egyénileg konfigurálhat. Ez az SMX5 formátumú modell esetében elég széles spektrumon történhet, míg a bővítőkártyaként megjelenő verziónál a 300-350 watt közötti paraméterezés a megengedett. Az NVIDIA a hardverek teljesítményét a maximális fogyasztásra adja meg, tehát minden opcionális korlátozás tempóveszteséggel jár.
