Hirdetés
- Elkezdte felszámolni a GPU-s PhysX támogatását az NVIDIA
- Egy tápkábel négy vezetékét elvágva is működik a GeForce RTX 5090
- Házi barkács, gányolás, tákolás, megdöbbentő gépek!
- Gaming notebook topik
- 7 GB/s felett olvasó M.2 SSD jött a Transcend színeiben
- Milyen videókártyát?
- Milyen notebookot vegyek?
- Modding és elektronikai kérdések
- Házimozi belépő szinten
- Milyen asztali médialejátszót?
Új hozzászólás Aktív témák
-
S_x96x_S
addikt
egy nagyobb modellnél ( deepseek:32b )
az új RTX 5080 ; RTX 5070 Ti - 16 GB -al
egyáltalán nem rug labdába egy 24GB-os RX 7900 XTX -el szemben.
( lásd jobboldali oszlop - 3.8x nagyobb token/s teljesítmény ! )
a sok VRAM győz .RTX 5070 TI Deepseek
https://x.com/9550pro/status/1892234998251471255
-
-
DarkByte
addikt
válasz
atee_13 #1681 üzenetére
Mivel ez nem lakberendező AI amivel csináltam, csak egy kép generátor, csak azt tudja megcsinálja amit lepromptolok és összedrótozok neki
Nem tudom mi lehet erre képes amit erről lehetne faggatni.
De később esetleg megpróbálhatom a hátsó faladat inpaint-elni úgy hogy ezt a képet oda adom IP Adapter forrásnak.
[ Szerkesztve ]
-
atee_13
őstag
válasz
DarkByte #1680 üzenetére
Megjegyzem későbbre biztos jól jön majd.
Arra esetleg van ötleted, hogy mivel próbálkozzak, ha ilyesmit akarok a falra
Nem kifejezetten ezeket, mert már van pár féle anyag meg izlandi zuzmót is akarunk majd egy egy cellába. De gondoltam valami lakberendező (AI) szem jobban megtudná tippelni miből mit hová és mekkorát.
-
DarkByte
addikt
válasz
atee_13 #1678 üzenetére
Először is Paint.NET-el nagyon bénán a klón tool-al meghosszabbítottam a falakat és a padlót a látható részből ismételgetve.
Majd ezt betöltöttem ComfyUI-ba alapnak és SDXL-el rajzoltam két durva maszkot a padlóra, és a falra, írtam egy prompt-ot előbb a padlóra és a falra, és inpaint-oltam.
A padlóhoz próbálkoztam egy hasonló textúrát találni IPAdapter-hez, mint ami a képeden volt, de nem igazán hozta a várt eredményt és feladtam egy ponton
[ Szerkesztve ]
-
consono
nagyúr
No, ha ezen megy a ROCm, akkor 128GB RAM mellett jó kis AI riget lehet majd építeni: [link]
-
5leteseN
senior tag
A hazai másfél milliárdos piaccal is "kihúznák", de lesz az a duplája is(ha csak a fizetőképességet számolom) a "maradék" 6-7 milliárdból!
Túl tekintve a száraz technológián: Ha úgy magamban minden a helyére teszek, akkor (sajnos ismét) igaz a klasszikus: "Az idő nem nekünk dolgozik!"
Ismét a vesztes oldalon vagyunk!
[ Szerkesztve ]
-
-
S_x96x_S
addikt
válasz
5leteseN #1641 üzenetére
> a 2080Ti mennyi AI
friss nvidia GPU teszt - vannak benne egy wattra - eső teljesítményes is.
https://www.phoronix.com/review/nvidia-maxwell-to-blackwell/5
-
atee_13
őstag
Üdv!
Valami lakberendező AI- van?
A projekt ami kellene: Lakásban falfestés helyett lehet megpróbálnánk valami kazettás/mozaikos opciót. Lenne kép ami az ihletet adta, lenne kép a nappaliról, de nem tudtam érdemben eltüntetni a bútorokat. Pár online oldalt találtam, de azoknál még a samu telefon is szebben tünteti el, de az sem lesz igazán jó.
Tehát az kellene, hogy kép alapján eltünteti a bútorokat megmutatom neki a képet ami az ihletet adta és az anyagokat amiket használnánk (vagy javasol önerőből valamit) és olyan méretűre és elosztásúra tervezi a kazettás/mozaikos részeket, hogy jól mutasson.
Bilibe lóg a kezem vagy vagy van olyan amivel ez megoldható?
-
DarkByte
addikt
válasz
consono #1667 üzenetére
Tisztán szuperszámítógépeket nézve az EPYC és Instinct installációk csakugyan vezetnek, ebben volt egy shift az elmúlt években. [link]
Szerintem ez leginkább annak tudható be hogy az Intel szerver piacon is kezd alulmaradni és az AMD összecsomagolva gyanítom jobb árat tud mondani a CPU+GPU párosra. De ez csak tippelem.
[ Szerkesztve ]
-
consono
nagyúr
válasz
DarkByte #1664 üzenetére
A tudományos világ pont, hogy AMD-n van, nézd majd meg mondjuk a top 20 szuperszámítógép mire épül
Nem néztem mostanában, de szinte 100%, hogy Epyc+Instinct. Pont ezért csak félgázzal foglalkozik az AMD a hobbistákkal, meg a ROCm-el, mert rengeteg bevétele van abból, hogy piacvezető a high performance compute-ban.
-
S_x96x_S
addikt
válasz
DarkByte #1664 üzenetére
(nvidia )
> Olyan nagy kipukkanás akkor se lenne ha hirtelen mindenki ráunna erre az egészre.
én nem vagyok ennyire optimista az nvidiával kapcsolatban.
kipukkanás nem lesz, de az erős verseny miatt
nem fog megmaradni a jelenlegi árrés és market share.
vagyis lesznek még kilengések. ( ... korrekciók ... )Ha megnézünk sok más technológiát - ahol verseny volt - akkor furcsa trendeket láthatunk
pl. a piac egészében nőtt,
de az egykori domináns szereplők veszítettek az árrésükből és a piaci részesedésükből.a deepsekknek főleg a pszichológiai hatása jelentős.
- az nvidia nem legyőzhetetlen.
- és emiatt rengeteg Startup és kockázati pénz ömlik a versenytársakbaAz YC rögtön rá is startolt. a témára ;
https://www.ycombinator.com/rfs#spring-2025-ai-coding-agents-for-hardware-optimized-code
pl. "AI Coding Agents for Hardware-Optimized Code"
"AI hardware is still constrained by software. Nvidia dominates largely because CUDA’s hand-optimized code is used in AI models. Competing hardware—AMD, custom silicon—often underperforms not just because of inferior chips but because writing system-level code (kernels, drivers) is very difficult, and not enough software engineers are working on it.
However, now with reasoning models like Deepseek R1 or OpenAI o1 and o3, these could generate hardware-optimized code that rivals—or surpasses—human CUDA code.
We’d love to see more founders work on AI-generated kernels that make more hardware alternatives work for AI.
This isn’t just about performance. It’s about breaking dependencies. Founders working on this could reshape the hardware ecosystem."A jövő kiszámíthatatlan.
-
USA fixen kimarad az ascend buliból. Én megmondom őszintén itt és most olvastam először, hogy egyáltalán labdába rúgnak. De igazán kecsegtető dolgokat ígér, kérdés milyen áron és mennyire lesz tartós. Attól szerintem nem kell tartani, hogy kippukad ez a lufi, mert szép lassan mindenhova is beépülnek majd a modellek, legfeljebb az ilyen egyszeri emberek, mint mi, fogják elengedni a kezét.
-
DarkByte
addikt
válasz
5leteseN #1663 üzenetére
Ezen se nagyon remegnék amíg az USA védő tarfiát vet ki a kínai cuccokra, illetve alapból is idegenkedik/tiltja a kínai fejlesztéseket. (csak ETF-en keresztül tartok Nvidia-t, sok minden mással vegyesben; illetve régi hír, azóta visszakúszott az Nvidia árfolyam, rájöttek az emberek, hogy attól hogy a Deepseek olcsón tanítható volt, az igény AI futtatására nem csökkenni fog hanem növekedni, amihez ugyanúgy kell rengeteg vas)
A tanítása a Deepseek-nek amúgy "öregecske" H100-akon ment valahogy mégisAz Nvidia nem csak AI fronton van jelen, a tudományos világ már ezen jelenség előtt is a CUDA-t preferálta párhuzamos számításra (okkal lett ennek hátán az az AI alapja úgymond). Olyan nagy kipukkanás akkor se lenne ha hirtelen mindenki ráunna erre az egészre.
[ Szerkesztve ]
-
5leteseN
senior tag
...és egy "fekete ló" a lopakodó pályán:
Reports Suggest DeepSeek Running Inference on Huawei Ascend 910C AI GPUs(TechPowerUp)Az nVidia részvényeket nem kell sokáig tartogatni! Hamar jöhet egy újabb bezuhanás egy kínai meglepi-bejelentés után!
Ezúttal mondjuk a hardver oldalon, "a változatosság kedvéért"![ Szerkesztve ]
-
DarkByte
addikt
Az Nvidia hardverek által kiszolgált számítási kapacitás datacenter vonalon tkp. exponenciálisan növekszik évről-évre.
-
DarkByte
addikt
válasz
S_x96x_S #1659 üzenetére
Hmm érdekes. Köszi, ezek elmentek a radar alatt. Bár lehetetlenség ezen a területen mindennel folyton képben lenni.
Ezek is igazából a szoftveres támogatottságon és az árazáson fognak múlni mennyire lesznek sikeresek. De jöjjenek csak, hátha tartogatnak meglepetést[ Szerkesztve ]
-
5leteseN
senior tag
válasz
DarkByte #1656 üzenetére
Igen, az MI25 éppen hogy csak kicsúszott a W-L-es ROCm támogatásból, Linux alatt az MI50 talán benne marad majd a továbbiakban.
Az MI25-eim pedig valószínűleg (BIOS-)"átvillannak" és újjászületnek WX9100-ként, a 3D/CAD(esetleg "filmvágósok") megfizethető örömeként.
...ha sietek!Átállok és is a "zöld-oldalra"!
Nincs időm kivárni, amíg az AMD 1-2 évtized alatt behozza a CUDA-ban tárgyiasult lemaradását GPU architektúrában és szoftverben..[ Szerkesztve ]
-
S_x96x_S
addikt
válasz
DarkByte #1657 üzenetére
> Persze kérdés egyáltalán mennyire cél ezeknek a cégeknek kiszolgálni
mivel verseny van - mindig lesz olyan cég, aki itt látja a növekedés lehetőségét.
1-2 napon belül itt a Strix HALO - a 128 GB -os 4 csatornás konfigjával,
ahol olyan nagy LLM -et is demóznak, ami nem fér el az nvidia 4090/4090
24B / 32GB -s VRAM -jában - és emiatt nyilvánvalóan gyorsabb.
Persze erre majd jön az nVidia Digitsde hamarosan itt lesz még az ócsó kínai Ascend 310s - alapú
"Orange Pi AI Studio Pro mini PC"
[ 352 TOPS + 192GB LPDDR4X ]
"Orange Pi AI Studio Pro Mini PC target Nvidia Jetson Orin Nano with up to 352 TOPS"
[ Szerkesztve ]
-
-
DarkByte
addikt
válasz
DarkByte #1656 üzenetére
B580 lett volna az, csak már nem tudom szerkeszteni..
Mindenesetre csak azt akarom mondani, habár most Nvidia hardverem van, én alapvetően drukkolok annak hogy legyen érdemi verseny ezen a területen és a CUDA ne legyen domináns örökké, mert az nekünk nem jelent jót árverseny szempontból. Még néhány évig tippre a zöldek kikerülhetetlenek lesznek, ez biztos.
Persze kérdés egyáltalán mennyire cél ezeknek a cégeknek kiszolgálni azt a nagyon vékony lelkes őrült réteget aki otthon AI-t akar futtatni, úgy ahogy megfizethető áron, főleg hogy enterprise vonalon olyan vastagon foghat a ceruza az árcimkén amennyire csak akarják.
[ Szerkesztve ]
-
DarkByte
addikt
válasz
5leteseN #1653 üzenetére
Nem akarom elvenni a reményed, de attól tartok azok a kártyák már túl régiek ehhez, hiába van rajtuk relatíve sok VRAM
Egy GTX1080 teljesítmény szintjén is épp hogy vannak, és azon is már malmozós volt nekem pár előző generációs modell (pl. SDXL). Nem beszélve hogy alapból hátrányból indulnak amiatt hogy nem CUDA képesek. Illetve elég régi architektúra, egy idős a Pascal-al. Az Nvidia CUDA szempontból most nyugdíjazta a Pascal-t, már nem jönnek rá új CUDA feature-ök driver-ből. AMD oldalt ahol eleve hátrányból indul az egész, és tkp. most növesztik ki az egész AI GPU stack-et, gyanúsan nem fognak az ilyen régi kártyák támogatására túl sokat fordítani, ha fordítani fognak egyáltalán.
Talán OpenCL-en keresztül korlátozottan meg tudod őket hajtani valamennyire.tothd1989: világos, tisztában vagyok vele. De azért ez a végtelenségig nem lesz így. Én jelenleg most mintha azt látnám az Intel esélyesebb hogy képes lesz érdemleges szoftveres körítést adni ehhez. Nem túl mélyen ástam bele maga, de azért utána keresgéltem, és az IPEX-en át már egész sok minden megoldható. Pl. Deepseek Qwen alapú modellt annyira nem volt őrületesen bonyolult beüzemelni a B280-on Ollama-val. Nyilván továbbra sem lesz olyan kulcsrakész mint a CUDA-val elindítani bármit, de egy fokkal jobb a helyzet mint AMD-éknél.
[ Szerkesztve ]
-
5leteseN
senior tag
válasz
Mp3Pintyo #1654 üzenetére
Hááát, ezek azok amiknél eddig mindig kiderült, hogy mindent is eladtak, attól függetlenül, hogy minden tikosságosságot (is) megígértek? Kb a ".. zúgy hajjak, meg ha eee-mondom bárkinekis!" szintjén vannak!
..de csak, magunk közt, ne mondjuk el senkinek ezt az eddig, utólag közel 100%-ban bejött igazságot.
Pont a múlt hetek egyikén fizetett közel 100 millát ($) a Microsoft egy USA pertársaságnak(abból is kb 70%-ban az ügyvédeknek), hogy ne érdeklődjenek tovább a lehallgatott és eladott infóik után!
A véleményem, röviden-velősen: ""
[ Szerkesztve ]
-
5leteseN
senior tag
válasz
DarkByte #1651 üzenetére
: "...Várnám hogy az LLM szoftvereken túl kicsit több támogatottság jelenjen meg a multi-gpu felállások kezelésére. Otthoni használatra igazán nagy VRAM-os kártyát nem nagyon fogunk kapni mostanság, több esély lenne összefogni több "kisebbet" és felosztani közöttük a munkákat valahogy.
..."Erre várok már kb egy éve("pár" AMD MI25-tel)!
[ Szerkesztve ]
-
válasz
DarkByte #1651 üzenetére
Szerintem llm szempontjából nem várunk sem Intel, sem AMD kártyára sem. Mondjuk talán egyáltalán nem, leszámítva pár fanatikust, nekem eddig csak bajom volt az AMD vga meghajtókkal, személy szerint a 6600XT-m is megbántam, hiába volt jó áron. Legfeljebb fél szemmel követjük a fejleményeket, nem hiszem, hogy egyhamar egyáltalán eljutnak arra a szintre, ahol a zöldek tartanak. Különben már az 5080 is érdekes lehetett volna, szinte biztos vagyok benne, hogy profitálhatunk előbb-utóbb az AI képességeiből, 16gb vrammal már el lehet szórakozni. De ahogy mondod, egyhamar nem jutunk még ehhez sem, mert ami volt, az itt van aprón (...).
-
DarkByte
addikt
válasz
consono #1647 üzenetére
Milyen szép hogy egy 2 misis kártyát közel lehetetlenség beszerezni, pedig elvileg már pár hete kapható
Az se gyenge hogy ennek a terhére a 4090-ek árai felmentek az egekbe most hogy már nem gyártják őket.
Egyelőre nem is rohanok variálni a setup-omon.
Várnám hogy az LLM szoftvereken túl kicsit több támogatottság jelenjen meg a multi-gpu felállások kezelésére. Otthoni használatra igazán nagy VRAM-os kártyát nem nagyon fogunk kapni mostanság, több esély lenne összefogni több "kisebbet" és felosztani közöttük a munkákat valahogy.Pl. érdekesnek lehet egy 24GB-s Intel Arc B580 ha mégis lesz. Illetve az AMD is emlegetett 32GB 9070 XT-t. Megvárom hova tagozódnak be ezek árban. Na meg mennyire támogatják őket a szoftverek. Nekem úgy tűnik az Intel Arc IPEX API-ja már most jobb támogatottsággal bír pl. PyTorch részről mint AMD oldalon a ROCm.
Illetve még májusban jön az Nvidia Project Digits is, arról se tudunk még sokat, de kíváncsi leszek mire lehet befogni valójában.
De amúgy már most lenne modell amivel 80GB-t simán meg lehetne tölteni, épp a napokban jelent meg egy kicsit már előre mutatóbbnak tűnő local video modell, StepVideo-T2V.
[ Szerkesztve ]
-
DarkByte
addikt
-
-
válasz
5leteseN #1645 üzenetére
Moseras képe tökéletesen deklarálja a kérdésed. Használható, ugyanakkor nem a legjobb a TOPS/kwh mutatója. Én is matekolok magamban, hogy megérné-eé esetleg beruházni 2-3db-ra, mintha kicsit megindult volna lefelé árban a 20-as széria, de talán majd akkor ha sikerül behúzni egy 5080-at és végre eltudom küldeni nyugdíjba a mostani vga-t.
Más, tettem ma egy próbát, felraktam a virtualizált gépre az LM Studiót próbaképp. Az tiszta sor, hogy a QEMU procit nem ismeri fel, de a 6600XT át van adva ennek a gépnek és nem találja meg. Nem kellene neki támogatni ezt a kártyát? -
5leteseN
senior tag
válasz
5leteseN #1644 üzenetére
A kérdésem: A 2080-nak felépítéséből adódóan van alapvető hátránya az AI-MI szoftverek Windows-os futtatásánál a 3090, 4000-es, 5000-es sorozathoz képest, ami miatt hosszú távú hobbi alkalmazásra nem ajánlott?
..vagy csak a teljesítményhez képest fajlagosan egyre magasabb fogyasztás a hátránya a modernebb nV-s GPU?-khoz képest
-
5leteseN
senior tag
válasz
moseras #1642 üzenetére
...csak azért merült fel bennem a kérdés, mert a 2000+ $-s Jetson tudja azt kb, mint max (2x)350$-s 2080Ti, amiből kettő rutinszerűen összerakható.
Az is tény, hogy a Jetson (papiron) ezt 60W-ból tudja, a kb két generációval korábbi 2x2082Ti-s változat meg összesen kb 600W-ból.Persze lehet van más oka is.
AI-MI-re most minden pénz megvan, ez e különbség nem oszt, nem szoroz.
Ez a terület most kb az új "NASA Holdra-szállás", presztízs szempontból.
A többi szempontot kívülállóként meg sem tudjuk ítélni!.
-
S_x96x_S
addikt
Inference speed - RTX 5090 "GPU AI Comparison"
( a 4090 -hez képest +50% sebesség + több VRAM )
https://docs.google.com/spreadsheets/d/1IyT41xNOM1ynfzz1IO0hD-4v1f5KXB2CnOiwOTplKJ4/edit?gid=0#gid=0(via
https://www.reddit.com/r/LocalLLaMA/comments/1ir3rsl/inference_speed_of_a_5090/ ) -
válasz
5leteseN #1639 üzenetére
A szerver bulit egyelőre elengedtem, amíg nem tudok egy fix feladatot adni nekik, amire nem elég az r9, mert fűtetlen műhelyben vannak, a lakásban meg a rossebb se akarja hallgatni a zúgásukat (még az r9nek is van némi alaphangja, mivel a két nvme meghajtó mellett kapott helyet 3db hdd is, illetve levegővel van hűtve, 2 vga (a 6600xt mellett egy gt740) van benne, szóval kell hűteni). Illetve a 360e pár hónapja táppénzen van, valami nyűgje lett a táppal, csere után is lekapcsol pár perc után.
[ Szerkesztve ]
-
5leteseN
senior tag
válasz
tothd1989 #1638 üzenetére
Mint szintén szerver újrahasznosító tag(ML350p G8, +egyebek...), örülök az ebből a szempontból is gyarapodó csapatnak.
Windows alatt az AMD-k mostoha-gyerekek
, tom', nekem is azok vannak.
Az én MI25-ösöeim a Linux-os ROCm alól is éppen kicsúsztak, talán néhány hónapon belül hozzá hekkeli valaki.
A szervert igazán egy reiser-rel kivezetett és kb 4x4-esen elosztott kűlső kiegészítéssel lehet kihasználni, az így megteremtett több VGA-t virtuálisan egyesítve és utána "vmi"(W10-11, Linux,...) alatt futtatva a 2-3-4VGAx0,85(kb az "összehangolási veszteségeket megadó
szorzóosztó") szeres AI-MI teljesítménytSzóval: "Üdv a fedélzeten!"
.
-
Sziasztok. Hát nem volt egy egyszerű menet végigrágni magam a fórumon, megmondom őszintén a hivatkozásokat nem is követtem. Örülök, hogy rátaláltam mert látok nagyon pozitív és nagyon negatív példát, hogyan használjuk/ne használjuk az "AI" eszközöket.
Amit rólam lehet tudni:
Tavaly elkezdtem foglalkozni a homelab témával, különféle szervereket futtatok. Van is egy kisebb rack parkom (dl380 g7, 2x dl380p g8, dl360e g8), de ez leállításra került, mert a teljesítmény nem minden esetben volt elég, illetve inkább alkalomszerűen volt használva és nem igazán volt egyenes arányban a kw/h-val. Ezt csak amolyan felvezetőnek említettem meg, innen jött az AI a képbe, mert a szerverekre természetesen linux (ubuntu 24.04) került és nekem talán 15 éve fordult meg windowson kívűl más os a gépemen (talán pclinuxos volt az utolsó), így szükségem volt segítségre, szinte mindenhez is. És itt nyúltam a OpenAI ChatGPT-hez. Nagyszerű móka volt felfedezni mennyire hatékony tud lenni...amíg nem kérsz komplexebb dolgokat tőle. Rengeteg dolgot megtanultam általa bash/python (script) nyelven. A deepseek r1megjelenéséig etettem az adataimmal, azóta már csak akkor nyúlok hozzá, ha minden más kudarcot vall. Mivel követem David Bombal-t, az adatvédelmet taglaló videójának hatására kezdtem el lokálisan futtatni llm modelleket.
Amit jelenleg használok:
LM Studio (deepseek-r1-distill-qwen-7b, Dolphin3.0 Llama3.1 8b Abliterated)
Pinokio (Fooocus) - itt megjegyezendő, hogy a legtöbb "app" nem megy kézi belepiszkálás nélkül, sokszor kimaradnak python könyvtárak telepítés során. Az említett app egyébként nincs cenzúrázva.
Invoke (Flux-LoRA)
Ami tervben van, hogy szeretnék saját modellt tanítani, videót készíteni megadott karakterekkel, de ezekkel kapcsolatban még nem találtam túl sok számomra is hasznosítható infót.
A fent említett tevékenységeket az aláírásomban látható vason futtatom, a homelab gép nemhiszem, hogy alkalmas volna rá, mert eleve proxmox fut rajta és az erőforrások meg vannak osztva, a vga pedig át van adva egy windows 11-et futtató virtuális gépnek.
Egyébként a homelab gép fő tulajdonságai: Ryzen 9 5900x, 64gb ddr4, 6600XT.
Mp3Pintyo youtube oldalára felnéztem, felettéb hasznos, csak így tovább! -
S_x96x_S
addikt
válasz
SkyTrancer #1635 üzenetére
> Valamivel érdekesebbet szeretnék,
> mint pl egyszer láttam, hogy van két kép,
> és a két ember egymást megöleli az vicces, pl ilyesmita saját tanácsom ( a saját tapasztalataim alapján)
Ha kíváncsi vagy a technikai részletekre - akkor mindenképpen érdemes a lokális generálásnak is nekilátni - még akkor is ha korlátos, kezdetleges, vagy nem ad kielégitő eredményt (főleg az elején.) Itt az a veszély, hogy elveszel a részletekben.
Ez alapján el tudod dönteni, hogy egy lokális dologtól mit várhatsz el
és mit nem.Ha viszont csak a végeredmény érdekel - és az is gyorsan,
akkor érdemes rögtön az online szolgáltatások felé orientálódni.
mivel azok általában 2 lépéssel az ingyenes megoldások előtt járnak.
itt egy eszközt érdemes nagyon jól megtanulni - a többit meg csak dallamra követni.
vagyis itt se lehet a befektetett időt megspórolni.Az online szolgáltatásoknál figyelni kell -
hogy sokszor az "ingyenes" == "publikus" -al,
vagyis ne egy családtag képén gyakorolj :-)
vagyis itt előbb - utóbb mindenképpen célszerű az előfizetés. -
-
SkyTrancer
senior tag
válasz
Mp3Pintyo #1633 üzenetére
nekem egy 12700k proci meg egy 4080-as vga van a gépben 16GB vram, 32gb ram, akkor itt neki se álljak ? vagy órák mire "generáltatnék" egy két snittet ?
Igen persze utána kell ennek is olvasni meg művelődni persze, csak még nem vettem erőt magamon, mert érdekel minden, csak ebbe még nem folytam bele eléggé.
Hogy mit szeretnék ?én magam sem tudom, megnézni hogy mi van
ezt pl kipróbáltam, hát.... jó
https://huggingface.co/spaces/multimodalart/stable-cascade
Valamivel érdekesebbet szeretnék, mint pl egyszer láttam, hogy van két kép, és a két ember egymást megöleli az vicces, pl ilyesmit
De pl még fogalmam sincs hogy egy ilyen 8-10 másodperces "videó" milyen erőforrással fog nekem itt leművelődni ( deszépszó ) de tekintve hogy csak megnézném semmiképp nem fizetnék elő mert photoshopban megoldok mindent magamnak ( képszerkesztés terén ) szóval csak kíváncsi lennék
Köszönöm az újabb linkeket
-
Mp3Pintyo
aktív tag
válasz
SkyTrancer #1631 üzenetére
1. Kezdetnek talán jó lenne mondjuk a teljesen ingyenesen elérhető Hugging Face spacek közül kipróbálnod párat.
2. Lehet, hogy van olyan előfizetésed valamihez amihez van képgenerálás is:
Twitter, Perplexity, Google...
3. Ha videós vonal kell és saját gépen akkor tudnod kell, hogy ahhoz brutális erőmű kell. 6-8 GByte VRAM is elég de akkor leadsz nagyon a minőségből.
Leginkább ezek a rendszerek a 16-24 GByte VRAM-ot szeretik a saját gépeden.
4. Korlátlan lehetőség minimális díjért valamelyik open source megoldás RunPod-on keresztül. Ez 180 Ft/óra.
5. Kling, Runway, Hailou..mind biztosít free krediteket is.
6. Google Veo 2 most jelent meg és nem láttam korlátot a használatra. Youtube shortot tudsz készíteni -
DarkByte
addikt
válasz
SkyTrancer #1631 üzenetére
Kicsit konkrétabban írd le mit szeretnél csinálni.
Beírsz szöveget, dobjon ki egy rövid videót?
Pl. ComfyUI + Hunyuan video modell fut lokálban.
Vagy ComfyUI + Nvidia Cosmos szintígy.
(egyiket sem próbáltam még hozzáteszem, szerintem nagyon kezdetlegesek ezek még vezérelhetőségben mindig)Next, Next, Finish-es telepíthető cucc nem igazán van, kicsit művelődni kell ha ezeket használni akarod. De szerintem 1 óra alatt kb. el lehet jutni oda hogy már mocorog valami.
[ Szerkesztve ]
-
SkyTrancer
senior tag
Mire ezt átnyálazom
De köszi őt már láttam egyszer kétszer, de csak beletekergettem, mert nagyon sok az infó, nekem meg igazából csak érintőlegesen kellene valami, hogy mégis megnézzem, de akármit keresek, letöltős az valahogy mindig kreditbe kerül pedig megnéztem volna hogy mi jön ki a gépből, pl video generálás stb, és ez mennyi idő stb
Köszi mégegyszer -
válasz
SkyTrancer #1629 üzenetére
mp3pintyo csatorna, Youtube.
-
SkyTrancer
senior tag
Sziasztok, ki akartam próbálni már valami AI-dolgot
Pl filmora, láttam hogy vannak ilyen ölelés képből stb, csak úgy kíváncsiságból
Azután szembesültem vele hogy annyira free, hogy semennnyire
Most az ilyen ai dolgokat nem lehet megoldani hogy az én gépem számolja, vagy valamilyen módon mégis ingyenesen "kipróbálni" ?
Pár tippet/tanácsot elfogadnék
-
DarkByte
addikt
válasz
Zizi123 #1593 üzenetére
Tessék, Deepseek R1 671B egy Raspberry Pi 5-ön (a Linux mmap-ot tudja használni az Ollama, így folyamatosan újra meg újraolvassa az egész modellt a futtatás során).
3 óra / prompt, de megy végülis -
válasz
S_x96x_S #1623 üzenetére
Nem teljesen, a Jetson sorozat az elektronikai iparnak szól, gyakorlatilag embedded computing. Pl. a járműipartól kezdve (régebben a Tesla is használt Jetsont, ha minden igaz) a szórakoztatóelektronikáig bármibe tehető, mert vannak egész kicsik is (nekem pl. Jetson Orin Nano-val volt/van munkám). A linkelt változat egy devkit, fejlesztők használják, hogy tudjanak úgy dolgozni, tesztelni, prototípust fejleszteni, hogy ne kelljen forrasztani, vagy a "nyers" Jetson compute modul köré interfészeket és egyéb elektronikákat építeni. Persze nyilván azért van bennük GPU meg unified memory, mert itt is minden az AI-ról szól, de kicsit más a fókusz.
A project Digits is fejlesztőknek szól, de kifejezetten AI modellekhez, asztalra. Külön termékvonal lesz, gyakorlatilag egy új, a Jetsontól független piac az Nvidianak. Mondjuk attól félek kicsit, hogy ettől még a Jetpack OS-üket fogja futtatni ez is, ami nem a kedvencem
[ Szerkesztve ]
-
válasz
S_x96x_S #1618 üzenetére
itt most olyan projektről van szó, ami videó/filmgyártási igényt fed le, magyarán filmkészítés. nem egész estés hálivúd, hanem bármi, reklám, oktatás, self-promo stb. tehát az ide kapcsolódó AI modellek használata (és nem csak a runway/sora/kling hármasra gondolok, meg 3D modellezés is stb.).
-
S_x96x_S
addikt
Amúgy jelenleg is lehet kapni
NVIDIA® Jetson AGX Orin™ 64GB -t
- €2,199.00
- AI Performance: 275 TOPS
- GPU: 2048-core NVIDIA Ampere architecture GPU with 64 Tensor Cores
- CPU : 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU3MB L2 + 6MB L3
- DL accelerator: 2x NVDLA v2.0
- Memory : 64GB 256-bit LPDDR5 204.8GB/s
- Storage: 64GB eMMC 5.1
- Power: 15W - 60Wés a Digits - **szerintem** ennek az utódja lesz.
csak 20 arm maggal , Blackwell architektúrával ( FP4 ) , M.2 SSD-vel , ConnectX® networking -él és hasonlóan 4 csatornás LPDDR5 memóriával ( 128 GB - ~ 260 Gb/s)
a $3000 -ból - itthon lehet 4000 EUR.
és ez már közelit a ~2x a 64Gb -os Jetson AGX Orin - árához. -
S_x96x_S
addikt
-
Mp3Pintyo
aktív tag
válasz
Zizi123 #1616 üzenetére
Ezt várja mindenki, hogy mikor jelenik meg és mit fog tudni:
NVIDIA Project DIGITS
A Grace Blackwell AI Supercomputer on your desk.
128GB of unified memory -
S_x96x_S
addikt
> AI film
jó téma - de ez azért elég tág fogalom;
a filmes forgatókönyvek-től kezdve ( ami creative writing )
a filmes ajánló-rendszerekig
a teljes mozifilmek generálásáig ( ami vizuális ) sok minden beletartozik.
És ott van még a film szinkronizálás is.Persze a cégek bármire adnak pénzt - ha annak az eredménye --> költségcsökkentés.
Sony Pictures to Use AI to Produce Movies and Shows In “More Efficient Ways”Amúgy vannak érdekes trendek a jövőre:
[ Automated direction / Virtual actors / Interactive movies / ... ] -
Zizi123
senior tag
-
ahoi, srácok! beköszönök, érdeklődéssel figyelem a topikot, engem is kezd beszippantani az ai-láz
annyira, hogy grundolódik egy startup körülöttem, AI filmes vonalon. nem tudom, hogy van-e köztetek olyan, akinek van ilyen érdeklődése és esetleg még ideje, energiája is, de ha igen, mindenképp írjatok rám privátban.
amúgy meg én is épp gépet építek, nyilván "szegén ember ai vasát", szóval am4-es összetarhált cuccok, és egy 3090 rtx lesz a lelke az egésznek. érzésre a hardveripar most szépen rá fog fordulni az új feladatra, szóval jönnek majd pár évig a világverő vasak, hamar el fog avulni minden régebbi.
-
S_x96x_S
addikt
4TB VRAM ....
"SanDisk's new High Bandwidth Flash memory enables 4TB of VRAM on GPUs, matches HBM bandwidth at higher capacity"
Equipping AI GPUs with 4TB of memory.
https://www.tomshardware.com/pc-components/dram/sandisks-new-hbf-memory-enables-up-to-4tb-of-vram-on-gpus-matches-hbm-bandwidth-at-higher-capacity -
5leteseN
senior tag
válasz
Zizi123 #1612 üzenetére
Én a cég részére történő (kb felesleges ? : lehet, hogy már van egy előre meghozott döntés, szóval ezen)keresés közben összeszednék a helyedben annyi infót a lehetséges költséghatékony hw/sw megoldásokról amennyit lehet! Ha ezt némi otthoni érdeklődéssel, "munkával" kiegészíted, akkor jól megbecsülhetően a kb 1, azaz egy hét intenzív és célirányos munkáddal (a Net-en) nagyon-nagyon jól eladható, friss-naprakész tudásod lesz!
Ebből a tudásból meg akár jobb állásod, saját céged?
...de: ahogy látod!
-
Zizi123
senior tag
válasz
5leteseN #1611 üzenetére
Ez senkit nem érdekel sajnos. Se a költsége, se a fenntartása, se az üzemeltetése se semmi. A lényeg, hogy a pénz el legyen verve.
Persze megy a sírás folyamatosan, hogy nincs pénz.Mai új ötlet:
20mFt-ért SolidWorks workstation WTF?????
1TB RAM !!!! A létező legelvetemültebb konfiguráló cég sem rakott még bele 128GB-nál többet. Jellemzően 32GB, vagy max 64GB RAM-ot javasolnak.
De nem értem meg, hogy csak ezen tudnak dolgozni????[ Szerkesztve ]
-
5leteseN
senior tag
válasz
Zizi123 #1610 üzenetére
Én is azt javasolnám, hogy(ha vannak ilyen variációk), akkor a tervezett 2-3-4 hardvert futtatnám szolgáltatónál, és ezt megmutatnám döntés előtt!
És én nem terveznék a 600GB-os LLM-mel: Mp3pintyó videója mutatta, hogy a legnagyobb teljesített a leggyengébben.
Szerintem heteken belül kijon egy felezett és jobb teljesítményű modell.
Egy LLM-hez összerakott, rugalmatlan, nehezen bővíthető és változtatható "vas" a legnagyobb bukta egy ilyen gyors fejlődés alatt álló területen!
A jó megoldás egy kisebb LLM, +szakterületes-RAG/-LoRA kiegészítés a megoldás.
Ehhez sejthető feladathoz a Watt-égető CPU-s megoldások durva pénzkidobás. Vásárláskor is, üzemeltetéskor is.
Az azonos fejlettségi szintű, azonos-elégséges memóriás rendszerek összevetésében a GPU-s megoldások 6-20-szoros teljesítményt tudnak, kb 50-100% Watt-ból.Több szempontos gyors összevetés.
-
Zizi123
senior tag
válasz
5leteseN #1609 üzenetére
A DeepSeek 671B Q4 404GB
Eddig is volt kisebb pl. LLama 3.1 ami benchmark %-ban, tudásában alig marad el a V3 -tól.
De az nekünk már nem jó, mert elavult, az R1 az igazi...Mondjuk azt nem teljesen értettem amikor magyarázták, hogy miért is kell nekünk a Reasoning amikor dokumentumokban akarunk kerestetni konkrét adatokat. Miért is kell az érvelés.
Amikor mondtam nekik, hogy akkor kb az kell nekünk mint a NotebookLM, csak lokálisan, és a DeepSeek LLM-el, akkor azt mondták, hogy "Igen, feldolgozott dokumentum halmazon célzott rövid kérdések (nem RAG hanem a teljes dokumentumon értelmezett kérdés).[ Szerkesztve ]
-
5leteseN
senior tag
válasz
consono #1606 üzenetére
Jogos, én is a linkeltnél egyel magasabb generációra utaltam, a P40-kkel, amik azért négyen már 96GB-al szállnak be a "buliba".
Ezt pedig azért gondoltam elégnek, mert korábban ZiZi említette a kisebb(vmi 400GB) körüli, egy számmal kisebb LLM-et is.
Ez kb a 4-5-ös kvantálással már szerintem belefér.
Most hirtelen nem találom ez mekkora lenne.
Mekkora?Szerintem egyébként gőzerővel készül a kisebb kínai LLM-is!
Mire megépül a rendszer, addigra ki fog jönni!
Pezsgő? -
5leteseN
senior tag
válasz
Zizi123 #1603 üzenetére
Én a helyedben(ha lennék) egy olyan "átlagos", AMD-CPU-s szervert raknék össze, ami sok-csatornás DDR5 RAM-ot használ, és minél több VGA-ja van a későbbi (több-VGA-s
) fejleszthetőség lehetőségét megteremtve.
Ha egy CPU-val nem elég=>megfizethető összegű CPU "miatt" maradt és a +1 "átlagos" szerver CPU-val lesz egy immár duál rendszered, aminél, ha jól vetted a RAM-okat, akkor nem kell további, csak átcsoportosítasz!
Ha ez sem elég, akkor én vennék a már 250$ körüli-"filléres" TESLA P40-eket, amiket egymással össze lehet kötni: 24GB/db!
A számítási teljesítményük grafikás AI-MI-hez már nem elég, de linkeltem ide a forrást, ahol "azt dobta a Gép" az egyik értelmes elemzőnek, hogy szöveges LLM-ekhez belépő szintre elég!
Az Egy P40! ...a 24GB-tal!
Neked meg lesz egy szervered legkevesebb 4 VGA hellyel!
...és(szerintem) a 3-4 TESLA P40, az összegzett 3-4x24GB-jával szöveges LLM-hez már bőven elég, és szerintem a 3-4x250W-ból bőven leveri a keretedből megfizethető csak dupla-Th-tripper-es rendszereket is.
kb ezért, még mindig: A rendszer-RAM-ok (GPU-VRAM-okhoz képest)viszonylagosan lassú sebessége miatt az átlagos AMD-CPU-kat sem fogja a lehetséges maximumra kihajtani.
Az elavultnak tűnő P40-ekkel épített rendszer szerintem bőven veri a csúcs-AMD-s duál szervert is, és a CPU-ár különbözetből bőven ki is jön a P4q "farm"!A "belépős" P40-ekhez: Szerintem fél-egy éven belül legrosszabb esetben féláron eladható, és 2-3-4 szintén összeköthető nVidia-s 4000-es RTX-re lehet váltani, kb bőven megtripázva a GPU számítási szintet, alig kevesebb RAM-okból(24GB helyett "csak" 16GB-ok/darab=>4x16GB=64GB).
Így szerintem jól skálázható egyre feljebb a rendszer, lesz pénz a következő szinthez, és teljesen költséghatékony kb minden szintnél!
A magam egyéni-hobbi szintjén én is ilyet tervezek-csinálok!
[ Szerkesztve ]
-
-
Zizi123
senior tag
-
Zizi123
senior tag
Minél többet olvasok annál bizonytalanabb vagyok.
"I have 2x 9684X + 24x 64G DDR5 4800
unsloth/DeepSeek-R1-Q4_K_M quantised model
3.5 tokens per second when I pin 12 threads to one CPU (one thread per CCD) using latest llama.cpp,"Az tuti, hogy itt a CPU nem korlátozó. És ez csak Q4
-----------------------------------------------------------------
"Paradoxically, LLM more likely to be faster with one CPU vs few CPUs because of NUMA.
NUMA bandwidth between CPUs is usually 15% - 50% the RAM bandwidth."Szuper mire azt hittem, hogy tuti dual CPU kell.....
------------------------------------------------------------------https://www.reddit.com/r/LocalLLaMA/comments/1ilzcwm/671b_deepseekr1v3q4_on_a_single_machine_2_xeon/?rdt=55198
Erre olvasom ezt ahol meg már hybrid rendszer a tuti, de csakis Xeon-okkal az AMX utasításkészlet miatt
-
Mp3Pintyo
aktív tag
válasz
Zizi123 #1589 üzenetére
Ha nagyobb projekt akkor nem értem a CPU-t.
Egyszerűen használhatatlanul lassú egy GPU-hoz képest.
a 2b modellek persze elérnek valamekkora sebességet de akkor is nincs értelme.
Főleg ha az egy reasoning modell, ott aztán tényleg előjön a sebesség különbség.
Mac Mx-et nem lehet a projekter használni? mert az is sokkal gyorsabb mint egy CPU.
Új hozzászólás Aktív témák
- Nagy "hülyétkapokazapróktól" topik
- Elkezdte felszámolni a GPU-s PhysX támogatását az NVIDIA
- Egy tápkábel négy vezetékét elvágva is működik a GeForce RTX 5090
- PROHARDVER! feedback: bugok, problémák, ötletek
- Robotporszívók
- Házi barkács, gányolás, tákolás, megdöbbentő gépek!
- Gaming notebook topik
- BestBuy topik
- 7 GB/s felett olvasó M.2 SSD jött a Transcend színeiben
- Milyen videókártyát?
- További aktív témák...