- OLED TV topic
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Amlogic S905, S912 processzoros készülékek
- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- Milyen videókártyát?
- Hogy is néznek ki a gépeink?
- Azonnali informatikai kérdések órája
- Hobby elektronika
- NVIDIA GeForce RTX 5070 / 5070 Ti (GB205 / 203)
- Melyik tápegységet vegyem?
Új hozzászólás Aktív témák
-
ddekany
veterán
Annyira nem eszik forrón a kását. Egy igazi ChatGPT 4-hez sokszáz giga (talán terra) VRAM-ot igényel, és brutál A100-asokon sem fürge. A szénné optimalizálás kategóriában a csúcs amiről kb. hihető/objektív tesztet láttam, az a 13 milliárd paraméteres Orca (még a zárt változata), ami azt hiszem FP16 volt, szóval akkor 26G VRAM. Azt talán ChatGPT 3.5 szint (ami kb 180 milliárd paraméteres FP16, tehát ahhoz képest viszont durva tömörödés). És a ChatGPT 3.5 gyakorlatban még nem túl hasznos, kb. csak tech demó. A ChatGPT 4-re is bőven ráférne még az okosodás, és attól még hízni fog az alap (vagy kevésébé lesz zömíthető). Ja, és belső dialógus még nincs, rendes külső memória integráció sincs, szóval az egész "Chat" széria kb. GAI alkatrész demó. A belső dialógus és még egy és más hiányzik még, és ebből csak a belső dialógussal már irgalmatlan lassú lenne szerveren is.
Na most nem állítom, hogy 10-20 év múlva nem fog elférni valami nálunk okosabb zsebben... Bár szvsz az halál, mert hát ennyi kontrollálhatatlan majom egy rakás Einsteinnel a zsebében nem fér meg egy bolygón.
-
-
Mp3Pintyo
HÁZIGAZDA
Azért annyira nem rosszak az értékei:
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Amúgy meg naponta jön ki új modell tehát mire ebből lenne valami addigra már úgyis sokkal jobbak lesznek a modellek. Azért nem kevés számítási kapacitás és VRAM kell ezekhez. Kíváncsi vagyok mit fognak produkálni a telók. -
ddekany
veterán
Tegyük hozzá, az a tárhely az RAM (és az csak a modellnek). Illetve 7B-s LLaMA praktikusan nem sok mindenre lehet jó. Elvégre ChatGPT 3.5-nél jóval butább dologra kell gondolni, és már az is eléggé meh praktikusan (mondjuk annál jobb, mint ami látszik, mert a "biztonság" miatt le van hülyítve).
-
#6
Acélfarkas
őstag
#52931072
#5
Acélfarkas
őstag
Annak amit leírtál, semmi köze a nyelvi modellhez. A facebook már régen ezt csinálja, ehhez nem kell nyelvi modell. Ahhoz hogy a nyelvi modell működőképes legyen, kell a brutális teljesítményű hardver és szoftver háttér, ami működteti ezeket. Qualcomm rakhat ehhez támogatást a chipjeibe, de ezt a hátteret az nem fogja tudni biztosítani offline módban.
-
#5
#52931072
törölt tag
Acélfarkas
#3
#52931072
törölt tag
válasz
Acélfarkas
#3
üzenetére
Ó dehogynem, amikor már lezabálta a fércbúk a mobilnetedet, sms-t még tudsz majd diktálni. Eltárol pár giga reklámot is, ha megnyitod a böngészőt, a promó még betöltődik, ha az oldal nem is jön be. Eltárolja a telemetriát is, amit továbbít amikor megint online leszel. Nyugi ezt ők már nagyon kitalálták helyettünk.
A szolgáltatók is annyira cukik. A t például ingyen ad 50 megát, amikor elfogyott netkeretem. Majdnem sikerült bejutnom a netbankba, azzal el is fogyott. Nem volt fél pörc az egész.
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
ph A Llama 2-alapú AI implementáció internetelérés nélkül is elérhető lehet.
- PROHARDVER matricás ház ingyen elvihető
- AKCIÓ! DELL OptiPlex 3050 asztali számítógép - i5 7600 16GB RAM 256GB SSD GTX 1650 4GB GDDR5
- 3db Dell PowerEdge R730XD és 3db Netapp RS-1401 NAS
- AKCIÓ! Lenovo Thinkpad T14 Gen 3 üzleti notebook - i5 1245U 16GB RAM 512GB SSD Intel Iris XeW11
- AKCIÓ! MSI B450 R5 5500 16GB DDR4 512GB SSD RTX 2070 8GB GDDR6 Rampage Shiva Zalman 500W
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest