- AMD Navi Radeon™ RX 9xxx sorozat
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Pokoli repetát hoz az új GeForce driver
- Elkezdtek szállingózni az Arctic P Pro sorozatú ventilátorai
- Autós kamerák
- NVIDIA GeForce RTX 5080 / 5090 (GB203 / 202)
- Home server / házi szerver építése
- Kezdő fotósok digitális fényképei
- Dell notebook topic
- CPU léghűtés kibeszélő
Új hozzászólás Aktív témák
-
ddekany
veterán
válasz
Alchemist
#46
üzenetére
Bocs, benéztem. Az inference rész nem olyan vészes. Feltéve hogy nem kell sok embert kiszolgálni párhuzamosan, csak a training a "szekrénysoros" kategória (valószínűleg ezt volt összekutyulva a forrásomban). De most tegyük fel, hogy a kész modellt megkapod. Akkor GPT 3.5 az 175B paraméter, arra itt azt a tipp, hogy 5 db V100-as (de lehetne A100-as is), azaz 5x80GB=400GB VRAM elég lehet rá: [link]. Ez kb konzisztens azzal, amit nyilt cuccokról láttam hirtelen (pl. hasonló méretű BLOOM). Illetve ha nem gond, hogy borzalmas lassú a cucc, akkor lehet kevesebb memóriával is (pl. CPU, 16 GB RAM, SSD, és akkor pár perc amig egyetlen tokent kidob... szóval nem annyira használható, mert pár óra is lenne úgy egy pár mondatos válasz). Az erre kicsit szűkös 4 db A100-et tartalmazó DGX Station-ok kb. 170e USD, szóval kb 70M Ft ahogy elnézem. (De biztos van használt olcsóbban, HA-n érdemes nézelődni...
)Viszont, a GPT 3.5 használhatósága, hát... nekem inkább tech demó kategória. A GPT 4-esről meg nem ismert a paraméterek száma, de a "közvélemény", hogy a 3.5-ös többszöröse. Az meg még nyílt kérdés, hogy mekkora lesz ez, amire igazán széles körben használható lesz. Jelenleg mondjuk a fő gond a hallucinálás, és az OpenAI-sok egyik fő törekvése, hogy ez megszűntessék valahogy. Hogy ez paraméter számban mit fog jelenteni, ha egyáltalán érdemben befolyásolja, ezt tán ők sem tudják még.
-
-
ddekany
veterán
Ja, értem, azt hiszem. Szóval felhasználó kérdez valamit, akkor először embeddig alapján kigyűjtöm a saját akármekkora DB-ből a valószínűleg kapcsolódó top valamennyi részletet (szóval kvázi az is AI alapú szűrés, de simán vektor távolság alapján), és csak azt rakom a kérdés elé felvezetőnek. Amúgy CharGPT 4-nek már vmi 30000 token a limit.
De szóval, az eredeti kérdésem, hogy vajon mennyire megbízhatóak ezek? Mert azért pénzügyi és hasonló témában szomorúságra adhat okot felhasználói oldalon, ha megb*ssza az APEH, mert pl. egy-két számla kimaradt a válaszból, mert épp úgy álltak a csillagok.
-
ddekany
veterán
"Meg tudom kérdezni az AIt-t, hogy például, hogy melyik szerződésem jár le 2 éven belül"
Ezekben mennyire lehet vakon megbízni? Felteszem itt a saját dokumentumok hasonló jelleggel vanna felvíve, mint ha chat-ba bevágólapoznád (csak nyilván API-val), és utána jön a végére a kérdés. Szóval a tudás elvileg meg van neki, de... mit tudom én, kicsit kaotikusna tűnt nekem a cucc, 3.5 alapján.
-
ddekany
veterán
válasz
#56573440
#27
üzenetére
Végül is, a gyerekem is még tanul fejben meg papíron számolni, pedig a számológép nem újdonság... Viszont lázad is, hogy de minek.
Persze a cikkben elsősorban a házi dolgozatokról és hasonlókról van szó. Hogy azt kell úgy adni, hogy ilyen segítséggel együtt is (aminek a tudása évről évre nő) hozzá kelljen tenni valamit a tanulónak is.
-
ddekany
veterán
Az lenne az értelmes, ha globálisam mindenki egyszerre és ugyan annyira tiltana, a közjó érdekében. Az amerikai törvényhozás is mozgolódik korlátozás téren. Viszont aztán van amit kimondatlanul mondasz, hogy aki legkevésbé tilt, az lehet hogy versenyelőnybe kerül. Mindig ezek a játékelméletes csapda helyzetek...
-
ddekany
veterán
válasz
#56573440
#20
üzenetére
Én arra számítok, hogy az ilyen ChatGPT-szerűségek képességei jelentősen ki fognak szélesedni az elkövetkezendő években. Tehát egyre kevesebb feladat lesz, amit nem tud megcsinálni, oktatás esetén a gyerek helyett. Tehát mindig olyan feladatot kell adni, ami az ilyen MI-k aktuális képességei fölé lő? Húzós lesz ez.
Meg van az a csapda, hogy amit az MI is megold, annak megtanulására nincs nagy motiváció, mert már nincs rá közvetlenül szükség. De ha így nem épültek be soha az alapok, akkor tán a komplexebb megoldások összehalászása és összeillesztése is gond lehet. Szóval vissza üthet ez.
Illetve, ki fog így bármit tanulni mélyebben, ha az az érzet van benne, hogy mire végez, addigra az már ki lesz váltva. Persze van aki igen, csak szórakozásból, de az kevés ember. Rázós lesz ez.
-
ddekany
veterán
válasz
Alchemist
#13
üzenetére
A mostani még nyilván számtalan teszten nem menne át. Pl drogteszten sem, amilyeneket képzeleg...
De nem kell alábecsülni, nagyon fiatal cucc. Ahhoz képest hogy explicit semmit nem tanítottak neki, csak réömlött rakás anyag, érdekes "meglátásai" vannak néha. Pl. azt tedd valahova, ahogy SQL szerver meg bash shell-t utánoz... Hogy a frászba? Ahhoz már valamiféle "world model" kell, ha még egy olyan kis egyszerű világé is, mint egy fájlrendszer, vagy egy kupac tábla. Hogyan alakult ki benne?"Csak szöveggeneráló" meg önmagában nem sokat mond. Ha pl. "Following is the detailed description of a practically useful fusion power plant", és úgy, folytatja, hogy működik...
-
ddekany
veterán
Nehezítené az értelmes diskurzust ezen a vonalon az is, hogy nem tisztázott, mi számít már gondolkodásnak (meg pláne, öntudatnak, mert is feljön állandóan) Ezért is jobb csak azt nézni, hogy X dolgot meg tud-e csinálni, meg Y jellegű viselkedésre hajlamos-e. Aztán mindenki olyan régi időkből származó szavakat aggat rá, amilyet akar.
Illetve, a törvénynek a ChatGPT és hasonlók jövőbeni verzióira is fel kell készülnie még mielőtt megjelennének. De nem tudja senki, azok milyenek lesznek. Az látszik, hogy az utóbbi kb. 5 évben gyors volt a fejlődés ilyen generatív LLM területen.
-
ddekany
veterán
A nagy kérdés, hogy az minek a tech demója. Azaz mennyire következnek a felépítéséből a mostani gyengéi, túl fog-e rajta lépni. Most is amúgy legtöbben (talán te is) ChatGPT 3.5 alapján ítélsz. Nem próbáltam a fizetős 4-eset, de állítólag komoly előrelépés értelmi képességben. A "hallucinálás" megmaradt, de azt mondják fejesek, ezen dolgoznak, hogy "megneveljék" ilyen téren. (Ilya megfogalmazása azt sugallta, hogy sejtése szerint a rendszer képes lehet eldönteni hogy mennyire biztos valamiben, csak meg kell tanítani, hogy ezt vegye figyelembe.)
)
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
- Autós topik látogatók beszélgetős, offolós topikja
- AMD Navi Radeon™ RX 9xxx sorozat
- Hálózati / IP kamera
- Tőzsde és gazdaság
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- Kerékpársportok
- Star Trek Online -=MMORPG=-
- Porszívók - akkus és klasszikus vezetékes
- Linux kezdőknek
- További aktív témák...
- Új FULL HD webkamera + Számla
- Bomba ár! HP ProBook 440 G6 - i5-8GEN I 8GB I 256SSD I HDMI I 14" FHD I Cam I W10 I Gari!
- Csere-Beszámítás! Custom vizes számítógép játékra! I7 12700KF / RTX 3090 / 32GB DDR5 / 1TB SSD
- Intel Core 2 Quad Q9550 2.83GHz LGA775 Processzor
- Thinkpad X230 legenda: i7 CPU, IPS kijelző, 12 GB, dupla SSD, magyar villbill, webcam, fingerprint
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest