Az NVIDIA az idei GTC-n új, gépi tanulás következtetés szakaszára szánt gyorsítókkal jelentkezett, amelyek a képességek tekintetében nagyon messze állnak egymástól. Ez persze nem gond, hiszen így sokan megtalálhatják számításaikat.
Amolyan olcsó alternatíva lesz az NVIDIA L4, amely a T4-et váltja, de a főbb karakterisztikák megmaradnak, így nem kell lemondani a vékony félmagas kialakításról, illetve a passzív hűtésről, bár utóbbit nyilván úgy kell érteni, hogy a szerver aktív hűtését használja ki a konstrukció. A fejlesztés paramétereit az alábbi táblázat részletezi:
| Típus | L4 |
|---|---|
| GPU kódneve |
AD104 |
| Alap- és GPU Boost órajel | 795/2040 MHz |
| CUDA magok száma | 7424 |
| Tensor magok száma | 232 |
| Elméleti számítási teljesítmény (FP32) | 30,3 TFLOPS |
| Elméleti számítási teljesítmény (TF32 Tensor) | 120 TFLOPS |
| Elméleti számítási teljesítmény (BFloat16 Tensor) | 242 TFLOPS |
| Elméleti számítási teljesítmény (FP16 Tensor) | 242 TFLOPS |
| Elméleti számítási teljesítmény (FP8 Tensor) | 485 TFLOPS |
| Elméleti számítási teljesítmény (Int8 Tensor) | 485 TOPS |
| Memóriabusz szélessége | 192 bit |
| Memória típusa | GDDR6 |
| Effektív memória-órajel | 12,5 GHz |
| Memória-sávszélesség | 300 GB/s |
| Memória kapacitása | 24 GB |
| Maximális fogyasztás | 72 W |
| PCI Express interfész |
x16 PCI Express 4.0 |
NVIDIA L4 [+]
Komolyabb szerkezet lesz a H100 NVL, ami a már bemutatott H100-as gyorsítók egy speciális verziója. Ennek ismert specifikációját az táblázat vázolja fel:
| Típus | H100 NVL |
|---|---|
| GPU mennyisége és kódneve | 2 darab H100 |
| Memóriabusz szélessége lapkánként |
6144 bit |
| Memória típusa | HBM3 |
| Effektív memória-órajel | 5,1 GHz |
| Memória-sávszélesség lapkánként |
3,9 TB/s |
| A memória teljes kapacitása | 188 GB |
| Maximális fogyasztás | 700 W |
| NVLink sávszélessége |
900 GB/s |
| PCI Express interfész |
2 darab PCI Express 5.0 |
[+]
Az NVIDIA a rendszer pontos teljesítményét még nem közölte, de a H100 NVL fő célja nem is a nyers számítási kapacitás, hanem a nagy nyelvi modellek kiszolgálása, ugyanis ezek jellemzője, hogy rendkívül sok memóriát igényelnek. Mivel a friss gyorsítónál már alapból két H100-as lapka van NVLinken keresztül összekötve, így elérik egymás 94 GB-os fedélzeti memóriáját, azaz összesen 188 GB-nyi kapacitással lehet számolni. Ez a célpiac igényeit tekintve még mindig nem számít soknak, de egyelőre ennyire van lehetőség.
Maga a H100 NVL egyébként méretben sem kicsi, konkrétan négy slotot foglal el az adott szerveren belül, a hűtése pedig passzív bordára épül, de itt is szükség van a szerver ventilátorai által generált légáramlatokra.
