Új hozzászólás Aktív témák

• #56 LordX veterán ddekany #55

  Új Válasz 2024-01-24 05:40:26 #56

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  LordX

  veterán

  válasz ddekany #55 üzenetére

  16 GB bőven elég ha a háttértárad elég gyors, hogy betöltse a következő rétegek súlyait miközben az első rétegek mátrixait szorozgatja a CPU, GPU, AI gyorsitó stb. A GPT3 rétegei kb. 1.8 B paraméter per réteg (sőt.. ez csak 1 transformer, ami önmagában több matmul), szóval 8 GB RAM is bőven elég.

  Ha meg dedikált GPU-n számolod, amiben van DirectStorage, akkor meg konkrétan nulla főmemória kell a gépebe hozzá.

Új hozzászólás Aktív témák