Új hozzászólás Aktív témák
-
zhit86
csendes tag
Váltsanak Mac-re... azokban a 8 GB is 16-nak (sőt 32-nek) számít
Amúgy a viccet félretéve... gondolkodtam már rajta, hogy nagy modellek esetén egy 32-64 GB RAM-os Mac Studio nem lehet annyira rossz választás.
Vagy extrémebb esetben az Ultra procis változat még több memóriával... csak az már végképp horror áron van...
Mivel minden (CPU, GPU, AI gyorsító) eléri a közös memóriát ezért lehetnek előnyök a méreten túl is.
Nem tudom használja-e bárki ezeket ilyen AI trainingre, kutatásra, fejlesztgetésre.
Amennyire látom NVidia + CUDA az úr... egy-két tesztelőn kívül nem is nagyon próbálkozik senki mással a témában (de a kínaiak most lehet ráfanyalodnak bármire...).[ Szerkesztve ]
-
#2
flashpointer
őstag
flashpointer
őstag
azokat gyartjak meg egyaltalan?
-
zhit86
csendes tag
-
-
#6
Sidorovich
senior tag
IgorKGB
#3
Sidorovich
senior tag
Ahogy másik is írták, Mac Studioban M2 Ultra esetén 800 GB/sec sávszélesség van, a max memória pedig 192GB lehet. Persze a GPU teljesítménye közelében sincs a csúcs dedikált kártyáknak (mondjuk a fogyasztása és hűtésigénye se), de minden (CPU, GPU, AI gyorsító) ugyanazt a közös, nagy sávszélességű, nagy kapacitású memóriát látja. Vannak ennek jelentős előnyei. Megvannak azok a területek, munkák, ahová veszik mint a cukrot emiatt a Mac Studiot.
"appleszarokban"- ezzel a béna troll stílussal csak magadat minősíted és a hozzá nem értésedet bizonygatod.
[ Szerkesztve ]
-
#9
fatpingvin
addikt
zhit86
#1
fatpingvin
addikt
hidd el, elég komoly tekintetek nézik ezt a konstrukciót
csak ugye a szoftver... van az a felhasználási terület ahol a memória mérete fontosabb az elérési sebességnél. meg ugye a memóriacímzés is más. plusz hát az hogy unified memory space szóval nem kell ide-oda másolgatni a dolgokat.
A tipikus munkafolyamat legjobb tesztszimulációja a tipikus munkafolyamat. A "napi anti-corporate hsz"-ok felelőse :)
-
#10
IgorKGB
csendes tag
Sidorovich
#6
IgorKGB
csendes tag
válasz
Sidorovich
#6
üzenetére
az M2 gpu-ja kb gtx1660-as szinten van , az ultra meg soxor lassabb mint a max, mivel memória és cache koherencia problémakkal küzd
3 millio forintert gtx 1660 az nem egy jó deal, sőt mondhatni szar -
#11
fatpingvin
addikt
IgorKGB
#10
fatpingvin
addikt
próbálok rájönni hogy ennek mi köze a felvetéshez, de ha mutatsz egy olyan GTX1660-ast amin 192GB vRAM van akkor megkövetlek
ha nagyobb videoproci az se baj. 3M forint limitet azért tartsuk A tipikus munkafolyamat legjobb tesztszimulációja a tipikus munkafolyamat. A "napi anti-corporate hsz"-ok felelőse :)
-
#14
IgorKGB
csendes tag
fatpingvin
#11
IgorKGB
csendes tag
válasz
fatpingvin
#11
üzenetére
az AI-hoz nemcsak memória kell, hanem számitási kapacitás is, nvidia 4090 -es gpu-ja 1300 TOPs-os, az M2 ultra meg 31 TOPs, csupán 40 szeres sebességkülönbség van a kettő között
[ Szerkesztve ]
-
#15
Dare2Live
nagyúr
fatpingvin
#11
Dare2Live
nagyúr
válasz
fatpingvin
#11
üzenetére
Mit dob 192GB vrammal AI vonalon?
lekéstem[ Szerkesztve ]
don't look up, don't look up, don't look up, don't look up, don't look up, don't look up, don't look up...
-
#16
fatpingvin
addikt
IgorKGB
#14
fatpingvin
addikt
tényleg? na látod ezt soha nem gondoltam volna
viccet félre, a számítási kapacitást jó arányban tudod pótolni idővel, a plusz memóriát viszont nem nagyon, csak trükközéssel ha a modelled amúgy nem fér bele...A tipikus munkafolyamat legjobb tesztszimulációja a tipikus munkafolyamat. A "napi anti-corporate hsz"-ok felelőse :)
-
#17
Reggie0
félisten
fatpingvin
#16
Reggie0
félisten
válasz
fatpingvin
#16
üzenetére
1/40 szamitasi kapacitashoz eleg 1/40 memoria savszel is, azaz <25GB/s. Azt PCIe rohogve kiszolgalja, ugyhogy mehetne a rendszermemoriabol is.
[ Szerkesztve ]
-
zhit86
csendes tag
Ilyesmire gondoltam, de annyira nem vagyok képben, hogy validálni tudjam, amit az ember mond (és nem is volt időm végignézni az egészet):
[link]
Itt egy 4090-et, egy kevés ramos M1 PRO-t és egy 128 GB-os M1 MAX-ot hasonlít össze. Mondjuk ez nem training.
A 31 TOPs az csak a neural engine, nem az egész rendszer, ha jól értem itt nem is azt használják, hanem a GPU részt. -
Raymond
félisten
Ahogy a kommentekben valaaki emlitette neki inkabb llama.cpp amit hasznalhatott volna, az kidobja a stats-ot is a vegen es nem kiirasi sebesseg alapjan kell donteni. A GGUF formatuban levo modellt is is hasznalhatta volna akkor plusz atrakhat egy csomo layer-t a VRAM-ba es sokkal gyorsabb lesz ugy.
Privat velemeny - keretik nem megkovezni...
-
#26
Reggie0
félisten
fatpingvin
#25
Reggie0
félisten
válasz
fatpingvin
#25
üzenetére
Nem az, ha ugyanarrol a kodrol van szo.
-
#27
fatpingvin
addikt
Reggie0
#26
fatpingvin
addikt
-
#28
Reggie0
félisten
fatpingvin
#27
Reggie0
félisten
válasz
fatpingvin
#27
üzenetére
Reciprok. Egyedul a latency az amit nem vesz figyelembe, ami azert kozvetlen a rambol gyorsabb, mint pcie-n at. De ha egy rendszerben elosztasz minden orajelet 2-vel, akkor ugyan ugy fog menni csak lassabban. Viszont az AI nem egy banyaszalgo, sokkal kevesbe jellemzo a szo meretu random eleres, mint a blokkos olvasas. Mondjuk itt sem tunik nagy problemanak, 1kB-nel PCIE ~1000ns, GDDR6 ~140ns, szoval durvan 8:1 az arany.
[ Szerkesztve ]
-
#29
fatpingvin
addikt
Reggie0
#28
fatpingvin
addikt
arra gondoltam csak hülyeséget írtam, viszont ha a modell nagyobb mint a rendelkezésre álló memória ott a read-write exchange pont az ilyen latency miatt lesz lassabb mint a sima 1/x
A tipikus munkafolyamat legjobb tesztszimulációja a tipikus munkafolyamat. A "napi anti-corporate hsz"-ok felelőse :)
-
#30
Reggie0
félisten
fatpingvin
#29
Reggie0
félisten
válasz
fatpingvin
#29
üzenetére
Viszont, ha kozvetlen pcie-n huzza be az adatot a lassu gpu, akkor nincs gond, mert a rendszermemoria boven lehet 1T is.
-
Baryka007
őstag
Ez nem ennyire vicces... Nem szeretnék még 1 VGA piaci drágulást átélni... 240e Ft.- ér vettem egy 1080Ti-t 2021 Februárban.... Igaz előtte meg 155 ér adtam el a 1070 em... De ez nem normális... Most 3070 em van, adjam el 400 ér ? És vegyek 670 ér 3080 at majd ? ... Ekkora felvásárlásoknak mindig ez a vége.... Túlkereslet ---> Drágulás !
-
#35
fatpingvin
addikt
Baryka007
#34
fatpingvin
addikt
válasz
Baryka007
#34
üzenetére
így működik a piac, nem értem min kell csodálkozni.
ebben a fantasztikus globális kapitalista rendszerben kishalként csak annyit tudsz csinálni hogy konstatálod hogy ez van.A tipikus munkafolyamat legjobb tesztszimulációja a tipikus munkafolyamat. A "napi anti-corporate hsz"-ok felelőse :)
-
Baryka007
őstag
válasz
Dare2Live
#36
üzenetére
27" 144hz es monitorhoz valóban elég ami van is itthon...
De kontrollerrel néha szoktam csapatni a 4K TV-n is... És édes kevéske a 8GB vram... Mostanság Hogwartsozok a TV-n... kontrollerrel még oké a low fps de nem jó érzés ... Ultra 4k felbontás 2k ra skálázva 55-60fps között ugrál... Ritkán 50... Igazából kontrollerrel pont jó még így. De a 4K tv kiröhögi a 3070 et... Igazából váltanék...De nekem a VGA ára + (30-50e) ft ot illő számolni... Mert épített vizem van, és a 3070 re is 30 volt a blokk + a fittingek stb... Egy 3080 ra nem váltanék szívem szerint +2gb vram miatt... a 3080Ti meg már túl drága... Igazából egy 4070 kéne ...
Szerk.: Most konstatálom, hogy a 4070/4070ti is csak 12gb ... 10xx szériában volt utoljára 12gb egy csúcskártya... Szörnyű... Azt hittem a 4070 van 16gb os...
Akkor inkább kivárom az 5.-ik szériát 
[ Szerkesztve ]
-
Raymond
félisten
válasz
Baryka007
#39
üzenetére
Szerintem az lesz, annak erdekeben hogy ne kelljen arakat csokkenteni. A 4080S a minimum teljesitmeny elonyevel marad ott ahol van arban, a 4070TiS lesz a 4070Ti aran, a sima 4070 marad a piacon a 4070S pedig befeszkelodik a 4070 es a 4070TiS koze mert ott mind tljesitmenyben mind arban van eleg hely.
Az elerhetoseg lesz meg kerdeses talan mert attol fuggoen mennyi 4070Ti van meg a paicon aszerint lesz az utod befejeze utemezve. Bejelenteni bejelentik az ev elejen, de ha sok 4070Ti van meg a polcokon akkor lehet csak februar vege vagy marciusban jon az utod a piacra.
[ Szerkesztve ]
Privat velemeny - keretik nem megkovezni...
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
ph A szóban forgó ország több vasat tart a tűzben, de idővel elfogynak a bevethető hardverek.
- Korán befutott a Call of Duty: Black Ops 6 premier előzetese
- Milyen notebookot vegyek?
- EAFC 25
- Futás, futópályák
- Autós topik
- Xiaomi 13T és 13T Pro - nincs tétlenkedés
- Bluetooth hangszórók
- Audi, Cupra, Seat, Skoda, Volkswagen topik
- Kerékpárosok, bringások ide!
- Mesterséges intelligencia topik
- További aktív témák...
- Hibátlan - GIGABYTE Aorus AMD Radeon RX 580 8GB GDDR5 VGA videókártya
- AMD RX 6700 XT 12GB GDDR6 Reference Eladó! 92.000.-
- Akció! MSI GTX 1650 VENTUS XS OC 4GB GDDR6 Videokártya - Eladó! 31.990.-
- ASUS DUAL GeForce RTX 3060 Ti V2 MINI OC Edition 8GB
- ASRock RX 6600 8GB GDDR6 Challenger ITX Eladó! 55.000.-
Állásajánlatok
Cég: Ozeki Kft
Város: Debrecen
Cég: Ozeki Kft
Város: Debrecen