Hirdetés
- Hamarosan érkezik az EIZO első, kreatív profikat célzó OLED monitora
- Karnyújtásnyira a nyereség a Samsung chipgyártó részlegén belül
- Idővel kicsúszik az aljzatból a 12V-2x6 tápkonnektor?
- Leállította a legelső Legion Go kézikonzol terméktámogatását a Lenovo
- Ügyesen előzi meg a 12V-2x6 tápkonnektor leégését a Dell
Új hozzászólás Aktív témák
-
#13
Raymond
titán
MasterDeeJay
#11
Raymond
titán
válasz
MasterDeeJay
#11
üzenetére
Kiprobaltam a chat-et leggyengebb gepen amit itthon van, egy Intel NUC6-os egy Celeron J3455 CPU-val. Nemhogy AVX2, meg AVX sincs benne. Ubuntu 22.04 es egy docker container-ben futo ollama elindul es megy, de meg a 3B-s mini-orca vagy a 2.7B-s phi-2 mellett is tobb mint 1 percig tart amig valaszol es talan 1 masodperc per szotag sebessegel general
-
#12
Raymond
titán
MasterDeeJay
#11
Raymond
titán
válasz
MasterDeeJay
#11
üzenetére
Hat nem tudom, eleg rizikos azert az arert, akkor meg a rizikomentes 3090 is jol nez ki 700-800EUR kozott. Vagy egy uj 4060Ti 16GB is jobban nez ki 460EUR-ert.
-
#11
MasterDeeJay
veterán
Raymond
#10
-
#10
Raymond
titán
MasterDeeJay
#9
Raymond
titán
válasz
MasterDeeJay
#9
üzenetére
A 90HX szerintem nem igazan jo, a hasznalt kartyaknal a VRAM-ra erdemes utazni de ott is csak ugy hogy jobb uzlet legyen mint a 280EUR-os uj 3060 12GB vagy a hasznalt ugyanebbol esetleg a 200-250EUR kozotti hasznalt 2080Ti. A 170HX nem ugyanaz mint az M10? Ott is 4 GPU es 4x 8GB VRAM vagy egy kartyan, ahhoz tul draga szerintem, egy kb ugyanannyiba kerulo 3090 24GB-nak tobb ertelme van. Legalabbis ezt irtam volna par hete, de ahogy nezem azok felmentek 700-800 koze igy nem annyira jo mar.
En ezt a videot neztem [link], ez alapjan olyan 2080Ti sebessege lehet az A770-nek SDXL kepgeneralasnal.
A 100GB/s nem rossz egy CPU-nal, de a 4090 pl. meg igy is 12x gyorsabb mint az i7-13700K es DDR5-6400 nalam a Llama-2-13b szovegeneralasnal. A 2080-am is kb. annyival gyorsabb mint az abban a gepben levo i7-6700K DDR4-2133 kombo.
-
#9
MasterDeeJay
veterán
Raymond
#8
P40 még nincs meg (igen a 24gb-osat néztem). Most csak kicsik vannak (K20, C2075) de azok régiek. Illetve egy nagy batár AMD V540-es (kb 5700XT 2x8GB HBM2 rammal) de az ugye nem cuda képes és egy kályha.
P4-esem volt de az nem volt egy erőgép viszont alig kellett hűteni. M40-est is sokáig használtam.
Lett volna egy P102-100 10Gb de meghalt hamar, korábban volt P104-100 azzal is elvoltam. (mindkettőnél lehetett szoftveresen unlockolni a vramot 4-8-ra és 5-ről 10-re)
Igazából valami nagyobb modern kellene olyan max 100-120eft körül, azért gondoltam a 90HX-re mert az már RTX3xxx gen bár csak 10Gb vrammal. Bányász kártyákat szórják ki, teslák lenneének még jók de hűtést kell hozzá építeni. Hozzáteszem van egy álomkártyám amit vennék szívesen de még drága és arra is kell hűtés. 170HX [link](ez azért is érdekes mert esélyes hogy itt is fel lehet oldani az extra ramot) [link] (van rá 16gb-os bios)
Az inteles A770 elvileg elég erős lenne ha támogatná valami. Ez alapján próbálom belőni melyik milyen erős mert nem nagyon találok rendes teszteket ilyenre és a játéktesztek nem mérvadóak. A770 opencl-ben elég jó, a 16Gb ram 512gb/s sávszél pont ideálissá tenné ilyenre.
Ramsávszél számít azt tudom, proci oldalon is van 100Gb+ ami nem sok de procihoz képest nem kevés. Ha lenne normálisan AMD támogatva akkor vennék valami 16gb-os HBM2-es olcsó amd MI kártyát. De legtöbb progi cuda-ra van.
P40 power limit érdekes, ha lesz olyan megnézem mert lehetne így gyengébb hűtéssel is használni. -
#8
Raymond
titán
MasterDeeJay
#7
Raymond
titán
válasz
MasterDeeJay
#7
üzenetére
"Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó."
Ez most eleg nehez ugy mert mivel vadnyugati aranylaz van, naponta jonnek mindenfele hirek es hype hogy az uj XY modell a legjobb a vilagon stb. Rengeteg a zaj, de ha maradsz az alapoknal (Llama-2b, Mistral, Mixtral-8x7b) es ezek nepszerubb valtozatai (Nuos-Hermes) abban a valtozatban ami erdekel (generic, chat, instruct) akkor OK. Ha nem akarsz sok "Sorry Dave, I can not do that!" valaszt latni akkor az uncensored verziot keresd meg abbol amit hasznalni akarsz.
Az LM Studio-ban latod egyebkent ha rakeresel valamelyikre hogy melyik rep a legnepszerubb, az egy jo mutato.
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Meg Maxwell-en is megy, a P40 (remelem a 24GB-os
) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.Ha ilyen Skyrim szeru jatek chat-re kell akkor viszont tenyleg a modifikalt uncensored es roleplay-re optimalizalt modelleket nezd.
Lattam par hete az Intel videot a YT-on, gondoltam is rad hogy az A770-el kiprobalhatnad mert eleg jo it/s ertekeket produkalt
Aztan kiment a fejembol, de latom te is megtalaltad.A P40-nek egyebkent adj egy power limitet mert az inference sebessegre nem lesz kihatassal, de a fogyasztas es melegedesnek jot tesz [link]
-
#7
MasterDeeJay
veterán
Raymond
#6
Stable diffusionnal szórakoztam, procis, cuda és intel féle openvino verzióval de leginkább cuda-val volt gyors.
Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó. Openai-t használom felhőből gpt-3.5-fast de valami megközelítőleg hasonlót akarnék localba. Ahogy tudom a 3.5fast az 20b (skyrim AI-hoz)
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Tegnap próbának koboltcpp-t használtam 7b teljesen jól fut, 30b már lassú igaz nocuda módban (A770 16gb + 18 mag 4.5ghz, 128gb ddr4 4000 ramokkal). Most pont nincs modern cuda képes erősebb kártyám csak régi teslák de tervben van valami modernebb.
Meg szeretném ismeri amennyire csak lehet mert iszonyat sok lehetőséget látok benne játékok terén. [link]
A gond ugye az hogy prociból lassú, videókari meg a játékot futtatja bár nincs 100%-on de vramot megzabálja a játék így az kiesik. Második kártya kell majd. Meg van még egy audio-text oda vissza (xavsynth) azzal még nem foglalkoztam. -
#6
Raymond
titán
MasterDeeJay
#5
Raymond
titán
válasz
MasterDeeJay
#5
üzenetére
A korlatozas a konkret TensortRT es model formatum/verzio kombinaciojabol akad, a 20-as sorozat nem tamogat minden formatumot, gondolom a bfloat16 amit hasznalnak. A 8GB kartyakon a Mistral-7b a 10GB+ kartyakon pedig a Llama-2-13b tudtommal mindketto a 4bit quantized valtozat.
Az LM Studio-ban a Llama-2-7b 5bit-es verzioja (Q5_K_M) egy sima RTX2080-al olyan 55 tok/s sebeseget ad.
Az NV demot eleg problemas letolteni, nalam csak 8-10Mbit-el jott es azert igy 35GB altart egy darabig. Hagytam menni, de olyan 11GB korul megszakadt. Az hogy mennyit hozna a TensorRT egy 4090-el nem tudom, de Stable Diffusion generalasnal a konvertalt modellek olyan 70-75% pluszt hoztak sebessegben a simahoz kepest.
-
#5
MasterDeeJay
veterán
Sok alternatíva van, sok száz ha nem ezer modellel. CUDA, OpenCL, CPU... gyorsítással. Van miből válogatni. Vannak kifejezetten kezdőknek egyszerűen beállíthatóak (pl gpt4all, koboldcpp ami egy darab exe és a modell)
Szóval az csak marketing korlátozás hogy RTX30-40 kell ilyenhez.
Ahogy olvastam a LLaMa 2 13B AWQ 4bit quantized modellt használja de javítsatok ki ha tévedek.
) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
- Telekom otthoni szolgáltatások (TV, internet, telefon)
- Soundbar, soundplate, hangprojektor
- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- Garmin Fenix 7 és 7S - profi sport megszokásból
- Kuponkunyeráló
- Interactive Brokers társalgó
- Tápos kibeszélő offtopik
- Folyószámla, bankszámla, bankváltás, külföldi kártyahasználat
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Milyen TV-t vegyek?
- További aktív témák...
- Lenovo T490S i5 8360U, 16GB RAM, 256GB SSD, jó akku, számla, 6 hó gar
- Apple Watch Series 11 GPS 46mm Black - Új, bontatlan, 3 év gari, akár beszámítással
- Nitro AN517-55 17.3" QHD IPS i9-12900H RTX 4060 16GB 512GB NVMe gar
- Asus PRIME B360M-A + Intel Core i7 9700 + 2x8Gb DDR4 2666Mhz./Garancia/
- HP ProBook 445 G8 14" Ryzen 3 5400U, 8GB RAM, 256GB SSD, jó akku, számla, 6 hó gar
- Eladó Samsung S23 Ultra 8/256GB / 12 hó jótállás / ÚJ AKKUMULÁTORRAL!
- Lenovo ThinkPad X1 Extreme Gen3 i7-10750H 32GB 1000GB GTX1650-Ti 4K UHD 1 év gar
- Akció! Gamer PC-Számítógép! Intel Ultra 5 245K / RTX 3080 10GB / 16GB DDR5 / 1TB SSD!
- ÁRGARANCIA!Épített KomPhone Ryzen 7 9800X3D 64GB RAM RTX 5090 32GB GAMER PC termékbeszámítással
- Új autó elsősegély doboz 2030 augusztusig jó
Állásajánlatok
Cég: Laptopműhely Bt.
Város: Budapest