Hirdetés
Az Amazonhoz tartozó AWS a re:Invent konferenciáján bejelentette az Annapurna Labs által fejlesztett, Trainium3 nevű AI gyorsítót, amely az elődhöz viszonyítva számottevően jobb skálázhatóságot, illetve teljesítményt ígér. A friss fejlesztés valójában két darab, 3 nm-es TSMC node-on készülő chipletre épül, amelyek egymás tükörképei, vagyis párban kerülnek a tokozásra, mellettük pedig 144 GB-nyi HBM3E memória telepszik meg, amellyel 4,9 TB/s-os adatátviteli tempó érhető el.
A teljes, tokozás szintjén értelmezendő Trainium3 dizájn 2,52 PFLOPS-os számítási teljesítményre képes FP8-as formátummal, és támogatja még az olyan adattípusokat is, mint az MXFP8 és MXFP4. A vállalat szerint az elődhöz viszonyítva kétszeres sebességet sikerült elérni, az energiaigény négyszeres javulása mellett, továbbá a rendszer része már a NeuronSwitch-v1 fabric interfész, amelynek hála rackszinten 144 darab Trainium3-at lehet összekötni. Ezt a konfigurációt az AWS Trn3 UltraServernek hívja.
A Trainium3 a gépi tanulás tréning szakaszára van optimalizálva, de alapvetően következtetésre is jó, energiahatékonyságának hála pedig relatíve olcsó az üzemeltetése, ami az AWS számára kritikus szempont.
