Új hozzászólás Aktív témák

• #65 LordX veterán ddekany #61

  Új Válasz 2024-02-02 07:08:09 #65

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  LordX

  veterán

  válasz ddekany #61 üzenetére

  Memóriáról beszéltünk, a modell meg az összes futási idejű adat nem fog több vagy kevesebb memóriát foglalni attól, hogy CPUn, GPUn, vagy TPUn tolod a számítást.

• #62 moleculez veterán ddekany #61

  Új Válasz 2024-01-25 08:21:43 #62

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  moleculez

  veterán

  válasz ddekany #61 üzenetére

  Mondjuk ezen is el kell gondolkodni, mekkora komplexitású rendszer kell on-device. Szvsz egy egészséges balance kellene a cloud vs on-device vonalon, nem kell hogy mindent tudjon zsebben, de pl a napi használatot megkönnyítő tudásanyag besűríthető, aztán ha olyan topic/probléma van akkor megy cloud modelnek.

• #59 LordX veterán ddekany #57

  Új Válasz 2024-01-25 02:59:41 #59

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  LordX

  veterán

  válasz ddekany #57 üzenetére

  Van olyan, hogy batching, nem kell ezt csinálni tokenenként. Hogy mennyit tudsz összerakni egyszerre, kb. csak a xPUd sebességétől függ.

  (Autoregressziv, persze, de van jóóóópár papir arról, hogyan lehet ezt megoldani.)

• #56 LordX veterán ddekany #55

  Új Válasz 2024-01-24 05:40:26 #56

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  LordX

  veterán

  válasz ddekany #55 üzenetére

  16 GB bőven elég ha a háttértárad elég gyors, hogy betöltse a következő rétegek súlyait miközben az első rétegek mátrixait szorozgatja a CPU, GPU, AI gyorsitó stb. A GPT3 rétegei kb. 1.8 B paraméter per réteg (sőt.. ez csak 1 transformer, ami önmagában több matmul), szóval 8 GB RAM is bőven elég.

  Ha meg dedikált GPU-n számolod, amiben van DirectStorage, akkor meg konkrétan nulla főmemória kell a gépebe hozzá.

Új hozzászólás Aktív témák