- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- Fejhallgató erősítő és DAC topik
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Milyen TV-t vegyek?
- VR topik (Oculus Rift, stb.)
- Intel Core i5 / i7 / i9 "Alder Lake-Raptor Lake/Refresh" (LGA1700)
- AMD Navi Radeon™ RX 9xxx sorozat
- Raspberry Pi
- Projektor topic
- Milyen billentyűzetet vegyek?
Új hozzászólás Aktív témák
-
Raymond
titán
De igen, van par, peldaul Qwen3 30B A3B es Qwen3 Coder 30B A3B (3B aktiv parameter) vagy a gpt-oss 20B (3.6B aktiv parameter) es gpt-oss 120B (5.1B aktiv parameter). Ezek normalis sebessegel mennek CPU-val is a RAM-bol. Az a Qwen3 Q6-ben peldaul tud olyan 15-20 tok/s sebesseget egy DDR5 rendszeren, attol fuggoen hogy milyen a RAM (4800-5600-6400) es quant. Q4 valamivel jobb. RAM igenyek se brutalisak igazan, a Qwen3 26GB Q6-al es olyan 18GB Q4-el, a gpt-oss 20B pedig csak 12GB alapbol a 120B pedig 65GB (MX4FP formatum). Tehat ha van 96GB vagy tobb RAM-od (es turelmed) akkor meg a gpt-oss 120B hasznalhatonak nevezheto. A prompt processing persze CPU-val aranylag lassu ami akkor problema ha mar hosszabb a cseveges vagy eleve hosszu az elso prompt. Ha sikerul mondjuk 200-300 tok/s sebesseget ott elerni egy 8000 tokenes promptnal mar eleve fel percet is varsz mire egyaltalan elkezdi a generalast.
-
Raymond
titán
válasz
Kristof93
#37
üzenetére
Nocsak, ezt nem is lattam...
Nem en vagyok eltevedve hanem te. A kontextus is jo lett volna ha megnezed. Itt arrol volt szo hogy egy rakat 256GB/s savszelt tudo 128GB-os gepet osszekotni hogy a nagy modellek menjenek. Ennek nincs ertelme az eszmeletlen ara miatt. Produktiv kornyezetben ezt nem csinalod mert a teljesitmeny csapnivalo, ezt max jatszadozasra es kiprobalasra jo (a kollega pl. a full Deepseek R1-et celozzta meg), oda meg nem fogsz 12-14K USD/EUR-t beleolni mert ugyanazt megkapod ennek az arnak a toredekeert. A Strix Halo-nal lathato 256bit DDR5-8000 alltal adott 256GB/s megvan a 8-12 csatornas szever platformoknal is ahol egy darab gepbe belerakod a szukseges 512-768GB RAM-t es a komplett ar a toredeke lesz a 6x Framework gepek aranak. Ha jobban megerolteted magad es turelmes vagy akkor 1-2 darab Framework gep araert megvan a 12 csatornas gep 768GB RAM-al.
-
Raymond
titán
Csak hogy vilagos legyen pedig mar irtam regebben. Fantasztikus hogy tudsz giglizni es hasznalni az internetet, de sokat segitene ha ertened is amit olvasol es megertened az osszefuggeseket. Ez a resz egyelore nagyon nagyon hianyos. Case in point:
"Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo"Ezt igy bughatod, mivel tobbe kerul es tobb a limitacio (clusteringnek hala) mint egy magasabb sebesseget elero sima 2U szerver lenne telepakolva RAM-al.
-
Raymond
titán
O RLY?
1. nem errol beszeltel hanem a 128GB-rol, tehat egy gep, foleg abban a kontextusban
2. ha mar ott tartasz hogy 6+ darab kell akkor ez eleve nem opcio mert 12K nyugati penzert inkabb egy 2U server egy 8 vagy 12 csatornas vezerlovel es 1TB+ RAM-alSzerk: egyebkent nem azt mondtam hogy *csak* a 64GB-nak van ertelme, olvasd el meg egyszer mit irtam ott. Foleg ugy hogy nem cluster-rol volt szo.
-
Raymond
titán
-
Raymond
titán
Elorendelni lehet es egy azert aranylag savasnyu aprosag kimaradt meg:
a jelek szerint majd valamikor Q3-ban szallitjak
A nominalis savszel 256GB/s es benchmarkban amit valaki mert par napja olyan 220GB/s amit ki lehet belole hozni. Ez egyebkent nagyon jo efektivitas, sokkal jobb mint a sima DDR5 vagy DDR4 platformjaiknal.
-
Raymond
titán
"A vállalat szerint a kedvelt Llama 3.3 70B Q6 LLM-mel valós időben lehet úgymond beszélgetést folytatni"
Sure
Meg a Q4-el is csak olyan 5-6 tok/s a sebesseg ami minden csak nem folyamatos beszelgetes."Ez viszont a vállalat szerint még mindig sokkal olcsóbb a 4800 dollárért kérhető, 128 GB RAM-mal szerelt Apple Mac Studio konfigurációnál, ráadásul gyorsabb is nála."
Csak ott almat hasonlitanak a kortehez (har har) raadasul nem gyorsabb annal a $4800 konfiguracional termeszetesen mert az mar M2 Max/Ultra vagy M4 Max az ujabb termekeknel. Amihez hasonlitani lehet teljesitmenyben az az M4 Pro-val szerelt gepek ahol 276GB/s a memoria savszel (vs. az ennel levo 256GB/s) es azokkal durvan egy arkategoria. Shocker!
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.1279€ - Ryzen AI Max 385 (8C 8050S) 32GB
1895€ - Ryzen AI Max+ 395 (16C 8060S) 64GB
2329€ - Ryzen AI Max+ 395 (16C 8060S) 128GBAz 1895 kimondottan jo ar erte, a 48GB VRAM eleg a 70/72B Q4-nek is (40-42GB) es a sebesseg is kezdi a turheto hatart elerni alulrol (5-6 tok/s) ami speculativ decoding mellet akar 8-10 tok/s-re is feltornazhatja magat.
Ha valakinek szukos lenne megis az a 64GB/48GB konfiguracio akkor ott a 128GB, de a felara eleg nagy. Persze meg mindig kisebb mint egy Apple cuccnal.
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.Új hozzászólás Aktív témák
- BMW topik
- Linux kezdőknek
- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- Kerékpárosok, bringások ide!
- Elemlámpa, zseblámpa
- Fejhallgató erősítő és DAC topik
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Premier előzetesen a Cronos: The New Dawn
- Nintendo Switch 2
- Brogyi: CTEK akkumulátor töltő és másolatai
- További aktív témák...
- BESZÁMÍTÁS! ASUS C246M i5 9400F 16GB DDR4 250GB SSD 1TB HDD GTX 1660 Super 6GB Zalman N4 Zalman 600W
- Apple Pad 5.generácio / 32GB / Wi-fi / 12Hó garancia
- DELL Thunderbolt TB16 dokkoló
- BESZÁMÍTÁS! ASUS ROG STRIX Z270G Gaming WiFi alaplap garanciával hibátlan működéssel
- Huawei P20 Lite 64GB, Kártyafüggetlen, 1 Év Garanciával
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: CAMERA-PRO Hungary Kft.
Város: Budapest