Új hozzászólás Aktív témák

• #48 ddekany veterán Alchemist #46

  Új Válasz 2023-04-25 11:00:38 #48

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz Alchemist #46 üzenetére

  Bocs, benéztem. Az inference rész nem olyan vészes. Feltéve hogy nem kell sok embert kiszolgálni párhuzamosan, csak a training a "szekrénysoros" kategória (valószínűleg ezt volt összekutyulva a forrásomban). De most tegyük fel, hogy a kész modellt megkapod. Akkor GPT 3.5 az 175B paraméter, arra itt azt a tipp, hogy 5 db V100-as (de lehetne A100-as is), azaz 5x80GB=400GB VRAM elég lehet rá: [link]. Ez kb konzisztens azzal, amit nyilt cuccokról láttam hirtelen (pl. hasonló méretű BLOOM). Illetve ha nem gond, hogy borzalmas lassú a cucc, akkor lehet kevesebb memóriával is (pl. CPU, 16 GB RAM, SSD, és akkor pár perc amig egyetlen tokent kidob... szóval nem annyira használható, mert pár óra is lenne úgy egy pár mondatos válasz). Az erre kicsit szűkös 4 db A100-et tartalmazó DGX Station-ok kb. 170e USD, szóval kb 70M Ft ahogy elnézem. (De biztos van használt olcsóbban, HA-n érdemes nézelődni... )

  Viszont, a GPT 3.5 használhatósága, hát... nekem inkább tech demó kategória. A GPT 4-esről meg nem ismert a paraméterek száma, de a "közvélemény", hogy a 3.5-ös többszöröse. Az meg még nyílt kérdés, hogy mekkora lesz ez, amire igazán széles körben használható lesz. Jelenleg mondjuk a fő gond a hallucinálás, és az OpenAI-sok egyik fő törekvése, hogy ez megszűntessék valahogy. Hogy ez paraméter számban mit fog jelenteni, ha egyáltalán érdemben befolyásolja, ezt tán ők sem tudják még.

• #44 ddekany veterán Alchemist #42

  Új Válasz 2023-04-24 22:07:03 #44

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz Alchemist #42 üzenetére

  Azért ilyen ChatGPT kategóirában nem bíznék benne, hogy egyhamar reális lesz "lokálisan". Brutális szekrénysor kell neki, és még bőven van mit fejlődnie, és kétlem hogy kevesebb számítási teljesítmény kell a következő verzióknak.

• #43 sh4d0w félisten Alchemist #42

  Új Válasz 2023-04-23 12:00:32 #43

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  sh4d0w

  félisten

  LOGOUT blog

  válasz Alchemist #42 üzenetére

  Nem mondtam, hogy a szerver mas kontinensen van, azt mondtam, hogy a sajat DC mar a mult. Hasznalhatsz Azure-t, GCP-t europai geolokaciokban is. Arrol viszont nagyvonaluan megfeledkezel, hogy a sajat DC egy rakas addicionalis koltseget is jelent, amivel egyutt mar nem versenykepes a felhovel szemben - ezert is tudott elterjedni a felho. Ehhez meg a felhoszolgaltatok hozzaadtak a felhos szolgaltatasok megosztott felelossegi koret (az ugyfel csak azert felel, amit o kontrollal) es a sajat DC vegkepp versenykeptelenne valt.

• #41 sh4d0w félisten Alchemist #40

  Új Válasz 2023-04-23 11:09:28 #41

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  sh4d0w

  félisten

  LOGOUT blog

  válasz Alchemist #40 üzenetére

  Nagyon le vagy maradva. A jovo nem a sajat DataCentere, hanem a felhoe. Irgalmatlanul tokeerosnek kell lenned, ha sajat DC-ben akarod futtatni a sajat AI-odat.

• #15 ddekany veterán Alchemist #13

  Új Válasz 2023-04-20 12:42:42 #15

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz Alchemist #13 üzenetére

  A mostani még nyilván számtalan teszten nem menne át. Pl drogteszten sem, amilyeneket képzeleg... De nem kell alábecsülni, nagyon fiatal cucc. Ahhoz képest hogy explicit semmit nem tanítottak neki, csak réömlött rakás anyag, érdekes "meglátásai" vannak néha. Pl. azt tedd valahova, ahogy SQL szerver meg bash shell-t utánoz... Hogy a frászba? Ahhoz már valamiféle "world model" kell, ha még egy olyan kis egyszerű világé is, mint egy fájlrendszer, vagy egy kupac tábla. Hogyan alakult ki benne?

  "Csak szöveggeneráló" meg önmagában nem sokat mond. Ha pl. "Following is the detailed description of a practically useful fusion power plant", és úgy, folytatja, hogy működik...

• #14 nozs23 addikt Alchemist #13

  Új Válasz 2023-04-20 12:23:13 #14

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  nozs23

  addikt

  válasz Alchemist #13 üzenetére

  A Turing teszt egy baromsag. Az eredmeny kb. attol fugg, hogy mennyire lehet az embert hulyere venni.

• #4 ddekany veterán Alchemist #3

  Új Válasz 2023-04-20 09:57:23 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz Alchemist #3 üzenetére

  A nagy kérdés, hogy az minek a tech demója. Azaz mennyire következnek a felépítéséből a mostani gyengéi, túl fog-e rajta lépni. Most is amúgy legtöbben (talán te is) ChatGPT 3.5 alapján ítélsz. Nem próbáltam a fizetős 4-eset, de állítólag komoly előrelépés értelmi képességben. A "hallucinálás" megmaradt, de azt mondják fejesek, ezen dolgoznak, hogy "megneveljék" ilyen téren. (Ilya megfogalmazása azt sugallta, hogy sejtése szerint a rendszer képes lehet eldönteni hogy mennyire biztos valamiben, csak meg kell tanítani, hogy ezt vegye figyelembe.)

Új hozzászólás Aktív témák