A Google egy ideije kínál különböző AI gyorsítókat a piac számára, és ezek bizonyos körökben sikeresek is. Ugyanakkor a korábbi dizájnok jellegzetessége volt, hogy nem a csúcsteljesítményre készültek, vagyis egy tokozásra levetítve nem vették fel a versenyt a konkurens megoldásokkal. Persze a keresőóriás erre csak annyit mondott, hogy az alacsonyabb fogyasztásnak hála fizikailag jóval többet is lehet venni a hasonló területet elfoglaló szerverekbe, de ez a gyakorlatban nem ennyire egyszerű.
Hirdetés
Az Ironwood TPU v7 pont erre a problémára reflektál, ugyanis ez a Google dizájnjai között az első olyan gyorsító, amely célirányosan gyúr a tokozásonkénti teljesítményre. Ráadásul az SC 25 rendezvényén kiderült, hogy nem is kicsit, ugyanis a két fő chipletet rejtő fejlesztés 4614 TFLOPS-ra képes FP8-as adatformátummal, ami legalább tízszer jobb a TPU v5-höz viszonyítva.
(forrás: Serve The Home) [+]
A chipletek mellé a tokozásra nyolc darab HBM3E memóriastack kerül, ami 192 GB-os fedélzeti tárat kínál, miközben a memória-sávszélesség 7,3 TB/s lesz. Eközben 1,2 Tbps-os összeköttetés biztosítja a nagymértékű skálázhatóságot, így 9216 darab TPU v7 köthető össze, ami 256 klasztert jelent, vagyis klaszterenként 36 darab gyorsító alkalmazható. Elméletben egyébként ez a határ is túlléphető, de az már egyedi tervezést igényel, ami nyilván drága megoldás.
A Ironwood TPU v7 skálázhatósága ráadásul nagyon átgondolt, ugyanis a Google 3D-s tórusz topológiát alkalmaz. Ennek az egyik legnagyobb előnye, hogy eliminálja a drága, nagyon sokat fogyasztó és késleltetést növelő switch-eket, ugyanakkor az összeköttetés jellege miatt előfordulhat, hogy az egyes gyorsítók közötti késleltetés megnő, mert több lépésben tudják csak elérni egymást. Ennek korrigálására használ a Google OCS eszközöket, amelyek egyfajta optikai áramkörkapcsolók, a közvetlenebb kapcsolatért. Ez a módszer ráadásul hibatűrő, vagyis ha kiesne egy gyorsító a topológiából, akkor azt a rendszer gyorsan pótolja egy másikkal.
A Google számára egyébként ez a fajta skálázás nem idegen, hiszen korábbi TPU-k teljesítménye elmaradt a közvetlen konkurensektől, és ezt a hátrányt kénytelen volt a cég jobb összeköttetési formákkal korrigálni, hiszen így opcióként felmerülhetett a fizikailag több TPU alkalmazása. Az Ironwood TPU v7 viszont vegyíti ezt az extrém jó skálázhatóságot a nyers teljesítménnyel, ami egészen új helyzetet teremt a piacon.
