Lokális AI chatprogramot adott ki az NVIDIA

Legfrissebb anyagok

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

LOGOUT témák

Új hozzászólás Aktív témák

Geller72 veterán

2024-02-19 12:33:25 #14

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Geller72

veterán

Milyen modulokkal működik?
Raymond titán

2024-02-17 01:06:43 #13

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Raymond

titán

válasz MasterDeeJay üzenetére #11

Kiprobaltam a chat-et leggyengebb gepen amit itthon van, egy Intel NUC6-os egy Celeron J3455 CPU-val. Nemhogy AVX2, meg AVX sincs benne. Ubuntu 22.04 es egy docker container-ben futo ollama elindul es megy, de meg a 3B-s mini-orca vagy a 2.7B-s phi-2 mellett is tobb mint 1 percig tart amig valaszol es talan 1 masodperc per szotag sebessegel general
Raymond titán

2024-02-15 12:22:20 #12

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Raymond

titán

válasz MasterDeeJay üzenetére #11

Hat nem tudom, eleg rizikos azert az arert, akkor meg a rizikomentes 3090 is jol nez ki 700-800EUR kozott. Vagy egy uj 4060Ti 16GB is jobban nez ki 460EUR-ert.
MasterDeeJay veterán

2024-02-15 12:09:51 #11

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

MasterDeeJay

veterán

LOGOUT blog

válasz Raymond üzenetére #10

A 170HX az egy GPU, nincs asztali megfelelője. GA100-ra épül erősen csonkítva. [link]

A 8Gb-os modellen esélyes hogy nem csak 16Gb van hanem több. A 10Gb-os modell lehet a 20Gb-os.
Raymond titán

2024-02-15 12:02:38 #10

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Raymond

titán

válasz MasterDeeJay üzenetére #9

A 90HX szerintem nem igazan jo, a hasznalt kartyaknal a VRAM-ra erdemes utazni de ott is csak ugy hogy jobb uzlet legyen mint a 280EUR-os uj 3060 12GB vagy a hasznalt ugyanebbol esetleg a 200-250EUR kozotti hasznalt 2080Ti. A 170HX nem ugyanaz mint az M10? Ott is 4 GPU es 4x 8GB VRAM vagy egy kartyan, ahhoz tul draga szerintem, egy kb ugyanannyiba kerulo 3090 24GB-nak tobb ertelme van. Legalabbis ezt irtam volna par hete, de ahogy nezem azok felmentek 700-800 koze igy nem annyira jo mar.
En ezt a videot neztem [link], ez alapjan olyan 2080Ti sebessege lehet az A770-nek SDXL kepgeneralasnal.
A 100GB/s nem rossz egy CPU-nal, de a 4090 pl. meg igy is 12x gyorsabb mint az i7-13700K es DDR5-6400 nalam a Llama-2-13b szovegeneralasnal. A 2080-am is kb. annyival gyorsabb mint az abban a gepben levo i7-6700K DDR4-2133 kombo.
MasterDeeJay veterán

2024-02-15 11:37:02 #9

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

MasterDeeJay

veterán

LOGOUT blog

válasz Raymond üzenetére #8

P40 még nincs meg (igen a 24gb-osat néztem). Most csak kicsik vannak (K20, C2075) de azok régiek. Illetve egy nagy batár AMD V540-es (kb 5700XT 2x8GB HBM2 rammal) de az ugye nem cuda képes és egy kályha.
P4-esem volt de az nem volt egy erőgép viszont alig kellett hűteni. M40-est is sokáig használtam.
Lett volna egy P102-100 10Gb de meghalt hamar, korábban volt P104-100 azzal is elvoltam. (mindkettőnél lehetett szoftveresen unlockolni a vramot 4-8-ra és 5-ről 10-re)
Igazából valami nagyobb modern kellene olyan max 100-120eft körül, azért gondoltam a 90HX-re mert az már RTX3xxx gen bár csak 10Gb vrammal. Bányász kártyákat szórják ki, teslák lenneének még jók de hűtést kell hozzá építeni. Hozzáteszem van egy álomkártyám amit vennék szívesen de még drága és arra is kell hűtés. 170HX [link](ez azért is érdekes mert esélyes hogy itt is fel lehet oldani az extra ramot) [link] (van rá 16gb-os bios)
Az inteles A770 elvileg elég erős lenne ha támogatná valami. Ez alapján próbálom belőni melyik milyen erős mert nem nagyon találok rendes teszteket ilyenre és a játéktesztek nem mérvadóak. A770 opencl-ben elég jó, a 16Gb ram 512gb/s sávszél pont ideálissá tenné ilyenre.
Ramsávszél számít azt tudom, proci oldalon is van 100Gb+ ami nem sok de procihoz képest nem kevés. Ha lenne normálisan AMD támogatva akkor vennék valami 16gb-os HBM2-es olcsó amd MI kártyát. De legtöbb progi cuda-ra van.
P40 power limit érdekes, ha lesz olyan megnézem mert lehetne így gyengébb hűtéssel is használni.
Raymond titán

2024-02-15 11:18:09 #8

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Raymond

titán

válasz MasterDeeJay üzenetére #7

"Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó."
Ez most eleg nehez ugy mert mivel vadnyugati aranylaz van, naponta jonnek mindenfele hirek es hype hogy az uj XY modell a legjobb a vilagon stb. Rengeteg a zaj, de ha maradsz az alapoknal (Llama-2b, Mistral, Mixtral-8x7b) es ezek nepszerubb valtozatai (Nuos-Hermes) abban a valtozatban ami erdekel (generic, chat, instruct) akkor OK. Ha nem akarsz sok "Sorry Dave, I can not do that!" valaszt latni akkor az uncensored verziot keresd meg abbol amit hasznalni akarsz.
Az LM Studio-ban latod egyebkent ha rakeresel valamelyikre hogy melyik rep a legnepszerubb, az egy jo mutato.
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Meg Maxwell-en is megy, a P40 (remelem a 24GB-os ) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.
Ha ilyen Skyrim szeru jatek chat-re kell akkor viszont tenyleg a modifikalt uncensored es roleplay-re optimalizalt modelleket nezd.
Lattam par hete az Intel videot a YT-on, gondoltam is rad hogy az A770-el kiprobalhatnad mert eleg jo it/s ertekeket produkalt Aztan kiment a fejembol, de latom te is megtalaltad.
A P40-nek egyebkent adj egy power limitet mert az inference sebessegre nem lesz kihatassal, de a fogyasztas es melegedesnek jot tesz [link]
MasterDeeJay veterán

2024-02-15 10:44:43 #7

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

MasterDeeJay

veterán

LOGOUT blog

válasz Raymond üzenetére #6

Stable diffusionnal szórakoztam, procis, cuda és intel féle openvino verzióval de leginkább cuda-val volt gyors.
Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó. Openai-t használom felhőből gpt-3.5-fast de valami megközelítőleg hasonlót akarnék localba. Ahogy tudom a 3.5fast az 20b (skyrim AI-hoz)
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Tegnap próbának koboltcpp-t használtam 7b teljesen jól fut, 30b már lassú igaz nocuda módban (A770 16gb + 18 mag 4.5ghz, 128gb ddr4 4000 ramokkal). Most pont nincs modern cuda képes erősebb kártyám csak régi teslák de tervben van valami modernebb.
Meg szeretném ismeri amennyire csak lehet mert iszonyat sok lehetőséget látok benne játékok terén. [link]
A gond ugye az hogy prociból lassú, videókari meg a játékot futtatja bár nincs 100%-on de vramot megzabálja a játék így az kiesik. Második kártya kell majd. Meg van még egy audio-text oda vissza (xavsynth) azzal még nem foglalkoztam.
Raymond titán

2024-02-15 10:05:54 #6

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Raymond

titán

válasz MasterDeeJay üzenetére #5

A korlatozas a konkret TensortRT es model formatum/verzio kombinaciojabol akad, a 20-as sorozat nem tamogat minden formatumot, gondolom a bfloat16 amit hasznalnak. A 8GB kartyakon a Mistral-7b a 10GB+ kartyakon pedig a Llama-2-13b tudtommal mindketto a 4bit quantized valtozat.
Az LM Studio-ban a Llama-2-7b 5bit-es verzioja (Q5_K_M) egy sima RTX2080-al olyan 55 tok/s sebeseget ad.
Az NV demot eleg problemas letolteni, nalam csak 8-10Mbit-el jott es azert igy 35GB altart egy darabig. Hagytam menni, de olyan 11GB korul megszakadt. Az hogy mennyit hozna a TensorRT egy 4090-el nem tudom, de Stable Diffusion generalasnal a konvertalt modellek olyan 70-75% pluszt hoztak sebessegben a simahoz kepest.
MasterDeeJay veterán

2024-02-15 09:20:58 #5

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

MasterDeeJay

veterán

LOGOUT blog

Sok alternatíva van, sok száz ha nem ezer modellel. CUDA, OpenCL, CPU... gyorsítással. Van miből válogatni. Vannak kifejezetten kezdőknek egyszerűen beállíthatóak (pl gpt4all, koboldcpp ami egy darab exe és a modell)
Szóval az csak marketing korlátozás hogy RTX30-40 kell ilyenhez.
Ahogy olvastam a LLaMa 2 13B AWQ 4bit quantized modellt használja de javítsatok ki ha tévedek.
b. félisten

2024-02-14 17:29:41 #4

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

b.

félisten

válasz Astroboy üzenetére #3
Astroboy őstag

2024-02-14 15:55:54 #3

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Astroboy

őstag

válasz Busterftw üzenetére #1

De ez chat program, nem cheat, mint a COD.
herion tag

2024-02-14 15:45:55 #2

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

herion

tag

válasz Busterftw üzenetére #1

Neked mennyi idő volt az install? Nálam kb. 15 perce nem mozdul a "chat with RTX" folyamatból
Busterftw nagyúr

2024-02-14 14:27:48 #1

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Busterftw

nagyúr

Kb 70GB-t foglal telepites utan.
Egy COD online tobbet foglal.