Legfrissebb anyagok

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD.hu témák

LOGOUT.hu témák

Keresés

Új hozzászólás Aktív témák

#15 ddekany veterán Busterftw #12

Új Válasz 2023-06-05 21:02:29 #15
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

veterán

válasz Busterftw #12 üzenetére

Egyszerűen annyiról van szó jelenleg, hogy a modellek futtatásához nem elég a GPU, kell CPU is, és úgy, hogy közös memóriaterületen is dolgozhatnak. Mindenki más is ezt csinálja AI-ra, hogy GPU "magok" (vagy ahogy elnevezik a tensor műveletet végző izéket) közelébe pakol CPU magokat. (A CPU mag ISA meg valószínűleg valamilyen ARM-os lesz, ritkán RISC-V.)

[ Szerkesztve ]
#11 ddekany veterán Pikari #10

Új Válasz 2023-06-05 09:15:25 #11
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

veterán

válasz Pikari #10 üzenetére

Az nekem szinte kizártak tűnik, hogy az NN-ek (az "AI") eltűnnek, mint megannyi hype. Most talán jön egy csalódás szakasz, amikor az átlagemberek a kezükbe kapják a csodát, és rájönnek, hogy valójában még nem nagyon használható. De maga az alapelv úgy néz ki működik, szóval ez már szvsz marad, csak lassabban és fokozatosabban jön, mint egyesek állítják.
Hogy az nVidia marad-e a vezető ebben... AMD-nek van ez a Instinct MI szériája, Intel is most igérgeti a "Falcon Shores"-t. De mintha ők csak üldözők lennének most. Ezek mind szerverbe szánt dolgok jelenleg, és egy sok milliárd paraméteres modell nem fog egyhamar otthoni gépen futni. Azaz ha egy kisebb be is kerül később az áltag gépekbe, akkor is hatalmas igény lesz a szerveren futtatásra, a nagy modellek esetén (és belátható időn belül). Ehhez képest lényegtelen, hogy egy die-ra megy a CPU-val, vagy csak egy tokozásba chiplet formájában, vagy külön tokozásba. (Egyik esetben se nevezném a CPU részének mérnöki szempontból.)
Aztán vannak a radikálisabb megoldások, rakás startup, pl. Tenstorrent. De nem láttam egyenlőre bizonyítékot (mint rendes benchmark-ot), hogy ezeket valóban akkorát odacsapnának az nVidia tradicionálisabb megoldásának teljesítményben. Meg gondolom az nVidia sem ül babérjain, ha látja, hogy fennforgás van.