Új hozzászólás Aktív témák

• #12 ddekany nagyúr haxiboy #11

  Új Válasz 2023-07-25 16:14:20 #12

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  nagyúr

  válasz haxiboy #11 üzenetére

  Annyira nem eszik forrón a kását. Egy igazi ChatGPT 4-hez sokszáz giga (talán terra) VRAM-ot igényel, és brutál A100-asokon sem fürge. A szénné optimalizálás kategóriában a csúcs amiről kb. hihető/objektív tesztet láttam, az a 13 milliárd paraméteres Orca (még a zárt változata), ami azt hiszem FP16 volt, szóval akkor 26G VRAM. Azt talán ChatGPT 3.5 szint (ami kb 180 milliárd paraméteres FP16, tehát ahhoz képest viszont durva tömörödés). És a ChatGPT 3.5 gyakorlatban még nem túl hasznos, kb. csak tech demó. A ChatGPT 4-re is bőven ráférne még az okosodás, és attól még hízni fog az alap (vagy kevésébé lesz zömíthető). Ja, és belső dialógus még nincs, rendes külső memória integráció sincs, szóval az egész "Chat" széria kb. GAI alkatrész demó. A belső dialógus és még egy és más hiányzik még, és ebből csak a belső dialógussal már irgalmatlan lassú lenne szerveren is.

  Na most nem állítom, hogy 10-20 év múlva nem fog elférni valami nálunk okosabb zsebben... Bár szvsz az halál, mert hát ennyi kontrollálhatatlan majom egy rakás Einsteinnel a zsebében nem fér meg egy bolygón.

• #9 ddekany nagyúr LordX #7

  Új Válasz 2023-07-24 09:38:40 #9

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  nagyúr

  válasz LordX #7 üzenetére

  Tegyük hozzá, az a tárhely az RAM (és az csak a modellnek). Illetve 7B-s LLaMA praktikusan nem sok mindenre lehet jó. Elvégre ChatGPT 3.5-nél jóval butább dologra kell gondolni, és már az is eléggé meh praktikusan (mondjuk annál jobb, mint ami látszik, mert a "biztonság" miatt le van hülyítve).

Új hozzászólás Aktív témák