Hirdetés
-
Az Apple megszerezné a klubvilágbajnokság közvetítési jogait
ph A vállalat ezért irgalmatlan pénzt fizetne a FIFA-nak, és ezzel rajzolná át az online streaming platformok háborújában a frontvonalakat.
-
Letartóztatták a bitcoin-Jézust
it Amerikai adókerülés vádjával, Spanyolországban tartóztatták le a bitcoin-Jézusként ismert Roger Vert.
-
Mindent megtudtunk az új Nokia 3210-ről
ma Részletes képek, specifikációk és euróban megadott ár is van a legendás modell újraélesztett verziójához.
-
PROHARDVER!
A legtöbb kérdésre (igen, talán arra is amit éppen feltenni készülsz) már jó eséllyel megtalálható a válasz valahol a topikban. Mielőtt írnál, lapozz vagy tekerj kicsit visszább, és/vagy használd bátran a keresőt a kérdésed kulcsszavaival!
Új hozzászólás Aktív témák
-
félisten
válasz MasterDeeJay #43389 üzenetére
A Volta speciális kártya volt, abból nőtte ki magát az Nvidia a professzionális szegmens AI részében,tulajdonképpen ott mutatkoztak be a gépi tanulásra kihegyezett generációk. Kísérlet volt es utána mindkét vonal,a gaming es a prof is abból építkezett.De a Turing nem helyette lett .Szigorúan véva az Ampere,A100 az utódja a Titan V is teljesen eltért minden addigi Titan hagyomanytol ,kulonbozott a Pascaltol es a Turingtól is,egyedi architektúra volt minden szempontból.
[ Szerkesztve ]
"A számítógépek hasznavehetetlenek. Csak válaszokat tudnak adni." (Pablo Picasso) "Never underrate your Jensen." (kopite7kimi)
-
Raymond
félisten
válasz MasterDeeJay #43389 üzenetére
Haha, a te tegnapi kerdesed az elso talalat a gugliban a modellre rakeresve [link]
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43393 üzenetére
Ami most neked jon akkor az a 16GB-os V100-nak megfelelo banyaszkartya? Mert ha nem tiltottak rajta semmit akkor az nagyon utos kombinacio lenne inferencing-re, szep nagy a savszel.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43395 üzenetére
Igen, meg 12GB-al is van kb 670GB/s, de a 16GB jo lenne mert az sokat dob azon milyen modellt lehet beletuszkolni, egy 13b-snel lehetne Q6 a Q4 verzio helyett. De meg igy is meglesz a 70+ it/s.
Szerk:
"Esélyes még hogy a tensor magok sem működnek"Gondolod hogy azokat is letiltottak?
[ Szerkesztve ]
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43398 üzenetére
A tensor a kepgeneralashoz kell inkabb, a szoveg elvan nelkule, ott inkabb a memsavszel lesz a limit. Az a 7b dolphin eleg kis modell, meg a Q8-nak is csak valami 10GB VRAM kell vagy anyi se, azt is hasznalhatod a Q5 helyett. Az a Q5 egy 4090-el 100 tok/s fut egyebkent es egy i7-13700KF-en 8 tok/s (4800-on ment a RAM) A 4090 pedig ugyanugy 92-99 kozott general meg 50% power limit mellett is.
A Tesla P40 24GB kartyak neznek ki jol a szoveg generalashoz, csakhat ott az a 180EUR koruli ami Kinabol van, a szarazbb erzest ado EU-s (ha talalsz egyaltalan) meg mar 300-350EUR.
Privat velemeny - keretik nem megkovezni...
-
lenox
veterán
válasz MasterDeeJay #43389 üzenetére
Mi az asztali forma? Nekem Titan V es GV100 is van, ezek asztaliak, nem? Mit fogsz vele szamolni?
Ja, latom, mire jo ezeket localban futtatni?[ Szerkesztve ]
-
lenox
veterán
válasz MasterDeeJay #43402 üzenetére
https://www.techpowerup.com/gpu-specs/cmp-170hx-8-gb.c3830
Ez nem Ampere? Nekem van egy rtx 6000 ada meg egy a6000, ezeken szoktam tanitgatni meg inferalni, az ada azert joval gyorsabb.
-
félisten
válasz MasterDeeJay #43405 üzenetére
AD?Az A100 nem?
"A számítógépek hasznavehetetlenek. Csak válaszokat tudnak adni." (Pablo Picasso) "Never underrate your Jensen." (kopite7kimi)
-
válasz MasterDeeJay #43422 üzenetére
Kártya nevét ne nézzétek 100-210 a modell csak moddolt a drivere. Nem saját még sajnos. Pcie riserben van az sem biztos hogy 1x de igazából annak csak játékoknál lenne jelentősége.
Vintage Story PH szervere újra fut!
-
Raymond
félisten
válasz MasterDeeJay #43423 üzenetére
Nem PCIe x1, az csak a power saving miatt van, minden kartyanal ez van ha nincs terheles alatt. Arra van ott az a kerdojel, ha rakattintasz akkor kinyit egy ablakot amiben fut egy endering es utanna a valos PCIe spec-et mutatja.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43554 üzenetére
Nice! Mar epp gondoltam rad a napokban hogy megjott-e a kartya
Akkor megis ott a 16GB VRAM vagy csak a GPU-Z gondolja ugy? Local LLM-el es SDXL tesztelted mar?
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43556 üzenetére
"Pcie sáv valóban 1x 1.1 aminek igazán nem nagyon van jelentősége amire használnám."
Ugyis az a fontos hogy beleferjen minden a VRAM-ba es 16GB-al az SDXL nem gond az LLM-ek kozul pedig van jopar 13b ami belefer mind es 30b koruli is talalni ami normalis minoseg mellett belefer.Privat velemeny - keretik nem megkovezni...
-
válasz MasterDeeJay #43559 üzenetére
Stable diffussion:
Messze gyorsabb mint a 1080ti vagy az A770, biztos hogy mennek a tensor magok!
Vintage Story PH szervere újra fut!
-
Raymond
félisten
válasz MasterDeeJay #43560 üzenetére
Ez eleg lassunak tunik, legalabbis en tobbre szamitottam. A sima RTX2080 csinal az SD1.5-el olyan 9 it/s korul. Nalam a vae-ft-mse-840000-ema-pruned.safetensort van a VAE-ra hasznalva es ahogy nezem nalad azert is sir hogy xformers nincs, nalam az is megy. Az alap SD1.5-bol van egy TensorRT verziom is, az igy fut az RTX2080-on:
A nem konvertalt "alap" ahogy fentebb reszletezve pedig igy:
Probald meg a Fooocus-t. Ott csak ezt a zip-et kell letolteni, kicsomagolni es utanna run.bat [link] letolt maganak mindent ami kell beleertve a model/weight file-okat igy eltart egy darabig az elso inditas (foleg a 6GB+ JuggernautXLv8 letoltese miatt) de utanna szepen megy minden. Ha valtoztatsz a Preset-en (az Advanced alatt, itt allitsd 1024x1024-re a meretet is) akkor letolt mas modelleket is [link] de ezt latod a konzolban hogy miert "nem tortenik semmi azonnal". Az RTX2080 itt 1.83 it/s amit tud. Ez a specs amit detekal:
Total VRAM 8192 MB, total RAM 32714 MB
Set vram state to: NORMAL_VRAM
Always offload VRAM
Device: cuda:0 NVIDIA GeForce RTX 2080 : native
VAE dtype: torch.float32
Using pytorch cross attention
Refiner unloaded.
Running on local URL: http://0.0.0.0:7865
model_type EPS
UNet ADM Dimension 2816Kicancsi lennek mit ir nalad a VAE dtype-ra, itt F32, az RTX4090-nel BF16.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43559 üzenetére
Megneztem ezt is az RTX2080 gepen LM Studio-ban, kb ugyanaz a sebesseg (57.56 tok/s):
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43563 üzenetére
Az hogy a komplett muvelett lassabb az ertheto a lassu PCIe miatt de hogy a generalas maga is csak 19%-al gyorsabb (1.83 -> 2.18) az erdekes. Na es az is hogy a sokkal magasabb memoria savszel ellenere az LLM inference azzal az 5GB-ot foglalo modellel ugyanaz a sebesseg. De lehet az nem terheli elegge, azzal az RTX4090 is olyan 100 tok/s csak.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43563 üzenetére
"FP16-ot kellene tudnia pedig."
Tudja es szerintem hasznalja is belsoleg. A Turing RTX2080 is tamogatja az FP16-ot tensor alatt plusz a RAM hasznalatbol itelve is FP16-ban megy a kepgeneralas, maskepp nem lenne igazan eleg a 8GB VRAM a Fooocus-nal se.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43567 üzenetére
Hat azt nagyon megerte, egy 16GB gyors VRAM-u kartya 150EUR-ert, a legolcsobb uj a 3x dragabb 4060Ti 16GB most 450EUR-ert.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43575 üzenetére
Ha maradna is ahogy van, ez egy 2080Ti/3070 teljesitmeny 16GB VRAM-al 150-ert.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43577 üzenetére
Ahogy nezem mar letesztelted rendesen? Generalsz kepet a sima model es VAE kombinacioval, kapsz egy it/s erteket. Aztan generalsz ugyanolyan felbontasu kepet az aktivalt TRT UNet-el es megint kapsz egy it/s ertket. Az a 3 -> 8 az nagy ugras. En csak a 4090-el probaltam par honapja szinten az SD1.5 model konvertalasaval es ott csak olyan 65-75% pluszt hoz igy nem sok ertelme van. Az a kartya mar az SDXL 1024x1024 kepeket is 3-4mp alatt generalja 30 lepessel, nincs sok ertelme az 512x512 vagy 768x768 felbontasu kepeket gyorsitani, foleg mert azoknal mar kell mas is (hiresfix vagy mas upscaler, inpainting stb.) es ott sok a limitacio es a model swapping igy az amit nyersz elveszik a komplett processzben. Nalad viszont egyertelmuen van ertelme ha 2.5x gyorsabban general.
Szerk: itt egy illusztracio miert nincs ertelme 4090-nel. Ezt a tesz [kép] 16 darab 768x1280 felbontasu kep az X-en lathato lepesekkel generalva es 92 masodpercig tartott a folyamat. Arra viszont jo volt hogy lassam valami nem oK a geppel mert lassabban general olyan 15%-al mint regebben, mindegy hogy A1111 vagy Fooocus, ra kell nezni mi van
[ Szerkesztve ]
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43579 üzenetére
Heh, tenyleg tobbet kellett volna rendelned ezekbol a kartyakbol
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43583 üzenetére
Az az AB curve-nel meg jelold be shift+balegerrel a kiemelt +208 es a jobbra toole levo pont kozottol a vegeing utanna csak a balegerrel huzd le azt a +208 utanni elso pontot alulra (menni fog vele a tobbi jobbra levo is) aztan ENTER. Aztan egyenes lesz onnan az 1582@0.794-tol vegeig es marad azon.
Mar ha erre gondoltal.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43587 üzenetére
A DP teljesitmeny tudtommal hardveresen fix mar nagyon regen, nincs mit feloldani.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43589 üzenetére
Most a banyaszkartyadrol van szo ahol 2:1 kene lenni az arany az FP32 vs FP64 mellett? Nem kapsz annyit?
En arra gondoltam hogy az ujabb kartyaknal ahol mar 32:1 vagy 64:1 az arany meg a Workstation kartyaknal is hogy ott nincs mar mit feloldani.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #43591 üzenetére
Ahh ertem. Ehhez nem tudok hozzaszolni, kartya modding temahoz nem ertek, nem foglalkoztam vele soha.
Privat velemeny - keretik nem megkovezni...
-
lenox
veterán
válasz MasterDeeJay #43591 üzenetére
Mire hasznalnad a doublet?
-
lenox
veterán
válasz MasterDeeJay #43608 üzenetére
P-bol nekem p2000, p2200, p4000, p5000, p6000 van. A gyari egyslotosak hangjat nem szeretem, hasonloan az a2000 RTX 2000 adanak is kellemetlen hangjat van. P4000-re raktam halk hutest egy 1060-rol, az jo lett. Ezeknek a kis ujaknak szerintem kicsi a bordajuk. Lattam a p4 kepeidet, az eleg jo.
Új hozzászólás Aktív témák
A topikban az OFF és minden egyéb, nem a témához kapcsolódó hozzászólás gyártása TILOS!
MIELŐTT LINKELNÉL VAGY KÉRDEZNÉL, MINDIG OLVASS KICSIT VISSZA!!
A topik témája:
Az NVIDIA éppen érkező, vagy jövőbeni új grafikus processzorainak kivesézése, lehetőleg minél inkább szakmai keretek között maradva. Architektúra, esélylatolgatás, érdekességek, spekulációk, stb.
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Promenade Publishing House Kft.
Város: Budapest