Új hozzászólás Aktív témák

• S_x96x_S veterán

  #42

  #40 5leteseN

  okt. 2., 08:56:12

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #40 5leteseN

  #40 5leteseN

  Ilyen tokem/mp teljesítményt az eredetileg eladásra szánt(de meggondolt) DELL 5810 (E5-2680v4, 128GB DDR4, 1.92TB SATA, 512Gb-SSD, +2xRTX 2080Ti/22GB(2x22=44GB VRAM-os ) "Házi MI-szerverem" is tud(bőven), még úgy is, hogy FastAttention-ból csak az 1-est tudja(bár dolgoznak a szoftveres megoldáson ! ).
  A 195W-ra UV-zett 2080Ti-kel az össz-fogyasztása sem tragikus: 600W, tartós-max.

  Az a GLM 5.3 Flash vajon futna rajta (vmelyik kvantálással) ?

  > GLM 5.3 Flash vajon futna rajta ...

  Ha olcsón fel tudod bőviteni a DDR4-et - akkor miért ne ?
  https://x.com/0xSero/status/2105570707560448115
  RTX 3090 + 196 GB DDR4 --> 28 tok/s decode ; 650 tok/s prefill ; 262k context
  ( GLM-5.3-Flash((Ox-Alpha)) 320B total parameters and just 18B activated )
  https://unsloth.ai/docs/models/glm-5.3-flash
  128GB-os gépen az Unlosth a "3-bit UD-IQ3_XXS" -t javasolja.

---


  ez meg egy DGX SPARK-os recept.
Mivel azt PCIe Gen5 SSD -vel is árulják -ideális lehet a diszket is használni.
  [ ~85 GB disk for weights ]
  https://github.com/0xSero/GLM-5.3-Flash-DGX-Spark

• kenand veterán

  #41

  #40 5leteseN

  okt. 2., 07:54:03

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  kenand

  veterán

  #40 5leteseN

  #40 5leteseN

  Ilyen tokem/mp teljesítményt az eredetileg eladásra szánt(de meggondolt) DELL 5810 (E5-2680v4, 128GB DDR4, 1.92TB SATA, 512Gb-SSD, +2xRTX 2080Ti/22GB(2x22=44GB VRAM-os ) "Házi MI-szerverem" is tud(bőven), még úgy is, hogy FastAttention-ból csak az 1-est tudja(bár dolgoznak a szoftveres megoldáson ! ).
  A 195W-ra UV-zett 2080Ti-kel az össz-fogyasztása sem tragikus: 600W, tartós-max.

  Az a GLM 5.3 Flash vajon futna rajta (vmelyik kvantálással) ?

  Hasonló alap van nálunk is általános célra, de 64GB RAM 1db 3060 12GB de kaphatna még egy 3060-at nem drágán, és aza alap bagó volt, 3 éve használjuk

  Kisebb LLM-re meg ott a AMD NC 250 134 USD-ért..

• 5leteseN őstag

  #40

  #38 S_x96x_S

  okt. 1., 18:49:25

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  5leteseN

  őstag

  #38 S_x96x_S

  #38 S_x96x_S

  Használd egészséggel!
  Lehet, hogy valakinek pl. aki szeret bütykölni régi gépeket ideális lehet, de nekem biztos nem.
  nekem a CPU-ja gyenge - és még a 4 csatornás memória sebessége is kevés
  Ráadásul a régi memóriák ára is felment ( még használtan is )

  Ha valami hasonló konfig kellene nekem,
  akkor én inkább használnék egy AMD Ryzen APU-s ( RDNA3-as ) konfigot.
  ami magában is képes ( mégha lassan is ) LLM-et futtatni
  és arra is rá lehet kötni egy normál GPU-t.

  Ez például egy Ryzen 7940HS eredmény ( cpu, rocm, vulkán )

  Benchmark: Ornith-1.5-35B-A3B-GGUF
  ====================================================================================================
  Backend: llamacpp/cpu (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 2825.5 1901.4 3555.1 8.0 6.0 10.7 0.1
  chat-long-output 6268.8 2163.7 11183.9 15.2 11.3 18.2 0.1
  code-short 5243.0 3301.9 8532.5 9.4 7.9 11.8 0.1
  code-explain 7587.4 3539.9 15226.3 20.7 18.2 22.5 0.1
  code-debug 11202.6 5827.6 15753.4 20.0 16.9 22.6 0.1
  Backend: llamacpp/rocm (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 673.1 486.3 803.8 26.3 25.2 27.3 22.0
  chat-long-output 574.9 549.4 589.1 31.6 31.5 31.7 22.0
  code-short 655.3 560.7 739.8 38.0 32.8 40.7 22.0
  code-explain 1019.9 920.6 1128.0 34.8 34.7 34.8 22.0
  code-debug 1624.2 1529.6 1694.2 30.7 30.7 30.8 22.0
  Backend: llamacpp/vulkan (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 571.3 521.0 668.3 26.1 25.9 26.2 22.0
  chat-long-output 590.1 588.8 592.1 28.8 28.8 28.8 22.0
  code-short 564.8 563.6 566.4 38.3 37.7 38.6 22.0
  code-explain 965.0 962.7 968.3 33.2 33.0 33.3 22.0
  code-debug 1640.5 1639.0 1642.5 28.9 28.9 29.0 22.0

  A strix halo - mellet szóló érvek ( bár nekem nincs ilyen )
  - ideális AI agentik programozásra ( 16 zen5 mag , Hermes Agent, OpenClaw , ... )
  - fel tudom használni játékra, szoftver fejlesztésre, nagy docker image-ek futtatására.
  - belefér a hátizsákomba.
  - sokkal halkabb mint egy régi szerver.

  - és egy extra RX 9700 32GB -al ( vagy más gpu -val ) dual módban lehet haszálni
  és tudsz egy https://www.lucebox.com/ klónt készíteni.
  

  Ilyen tokem/mp teljesítményt az eredetileg eladásra szánt(de meggondolt) DELL 5810 (E5-2680v4, 128GB DDR4, 1.92TB SATA, 512Gb-SSD, +2xRTX 2080Ti/22GB(2x22=44GB VRAM-os ) "Házi MI-szerverem" is tud(bőven), még úgy is, hogy FastAttention-ból csak az 1-est tudja(bár dolgoznak a szoftveres megoldáson ! ).
  A 195W-ra UV-zett 2080Ti-kel az össz-fogyasztása sem tragikus: 600W, tartós-max.

  Az a GLM 5.3 Flash vajon futna rajta (vmelyik kvantálással) ?

• Tamás9x őstag

  #39 okt. 1., 13:16:34

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  Átgondolva a dolgot akkor lenne ténylegesen értelme, ha clusterbe lehetne őket kötni, és 256GB ramot lehetne bele rakni + External VGA innentől kezdve ténylegesen élhető gép lenne.

• S_x96x_S veterán

  #38

  #37 kenand

  okt. 1., 12:59:14

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #37 kenand

  #37 kenand

  Ott a kínai lap olcsón C612-vel, sok PCI 3.0 csatornával ráadásul hibrid megoldás ami belefér a VRAM-ba (pl 2x12 GB GDR6) az sokkal gyorsabb a HALO-nál, ami kiszorul az megy a 4 csatornás RAM-ba és az ár a töredék.
  Én a budget magoldásra hívtam fel a figyelmet, hogy nem kell több ezer USD-t költeni,
  tény a fogyasztás több lesz, de 20 évig futhat 0-24-ben akkor sem lesz annyi az áramszámla, amennyi az árkülönbség
  Ha sok felesleges pénzem lenne ár vennék Mac Studiot-t.... de nem fogok (nem lesz)

  Használd egészséggel!
  Lehet, hogy valakinek pl. aki szeret bütykölni régi gépeket ideális lehet, de nekem biztos nem.
  nekem a CPU-ja gyenge - és még a 4 csatornás memória sebessége is kevés
  Ráadásul a régi memóriák ára is felment ( még használtan is )

  Ha valami hasonló konfig kellene nekem,
  akkor én inkább használnék egy AMD Ryzen APU-s ( RDNA3-as ) konfigot.
  ami magában is képes ( mégha lassan is ) LLM-et futtatni
  és arra is rá lehet kötni egy normál GPU-t.

  Ez például egy Ryzen 7940HS eredmény ( cpu, rocm, vulkán )

  Benchmark: Ornith-1.5-35B-A3B-GGUF
  ====================================================================================================
  Backend: llamacpp/cpu (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 2825.5 1901.4 3555.1 8.0 6.0 10.7 0.1
  chat-long-output 6268.8 2163.7 11183.9 15.2 11.3 18.2 0.1
  code-short 5243.0 3301.9 8532.5 9.4 7.9 11.8 0.1
  code-explain 7587.4 3539.9 15226.3 20.7 18.2 22.5 0.1
  code-debug 11202.6 5827.6 15753.4 20.0 16.9 22.6 0.1
  Backend: llamacpp/rocm (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 673.1 486.3 803.8 26.3 25.2 27.3 22.0
  chat-long-output 574.9 549.4 589.1 31.6 31.5 31.7 22.0
  code-short 655.3 560.7 739.8 38.0 32.8 40.7 22.0
  code-explain 1019.9 920.6 1128.0 34.8 34.7 34.8 22.0
  code-debug 1624.2 1529.6 1694.2 30.7 30.7 30.8 22.0
  Backend: llamacpp/vulkan (ctx=4096)
  ----------------------------------------------------------------------------------------------------
  Scenario TTFT min max TPS min max VRAM (GB)
  ----------------------------------------------------------------------------------------------------
  chat-short 571.3 521.0 668.3 26.1 25.9 26.2 22.0
  chat-long-output 590.1 588.8 592.1 28.8 28.8 28.8 22.0
  code-short 564.8 563.6 566.4 38.3 37.7 38.6 22.0
  code-explain 965.0 962.7 968.3 33.2 33.0 33.3 22.0
  code-debug 1640.5 1639.0 1642.5 28.9 28.9 29.0 22.0

  A strix halo - mellet szóló érvek ( bár nekem nincs ilyen )
  - ideális AI agentik programozásra ( 16 zen5 mag , Hermes Agent, OpenClaw , ... )
  - fel tudom használni játékra, szoftver fejlesztésre, nagy docker image-ek futtatására.
  - belefér a hátizsákomba.
  - sokkal halkabb mint egy régi szerver.

  - és egy extra RX 9700 32GB -al ( vagy más gpu -val ) dual módban lehet haszálni
  és tudsz egy https://www.lucebox.com/ klónt készíteni.
  

• kenand veterán

  #37

  #29 S_x96x_S

  okt. 1., 10:09:38

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  kenand

  veterán

  #29 S_x96x_S

  #29 S_x96x_S

  Egy X99-es rendszer 2133–2666 MHz között fut,
  így kb. 68–85 GB/s a memória sávszélesség - vagyis nem egy kategória.
  A Gorgon Halo -nak ennél 3x nagyobb a sávszélessége.

  Ráadásul 192GB LPDDR5X - vagyis alacsony fogyasztású.
  
  Ha van valakinek otthon egy elfekvő X99 -se, akkor próbálkozhat,
  de használtan beszerezni - csak annak való, aki szeret régi konfigokkal bütykölni.

  Ott a kínai lap olcsón C612-vel, sok PCI 3.0 csatornával ráadásul hibrid megoldás ami belefér a VRAM-ba (pl 2x12 GB GDR6) az sokkal gyorsabb a HALO-nál, ami kiszorul az megy a 4 csatornás RAM-ba és az ár a töredék.
  Én a budget magoldásra hívtam fel a figyelmet, hogy nem kell több ezer USD-t költeni,
  tény a fogyasztás több lesz, de 20 évig futhat 0-24-ben akkor sem lesz annyi az áramszámla, amennyi az árkülönbség
  Ha sok felesleges pénzem lenne ár vennék Mac Studiot-t.... de nem fogok (nem lesz)

• Tamás9x őstag

  #36

  #31 peet05

  szept. 30., 14:51:26

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #31 peet05

  #31 peet05

  Korrekt.
  Ilyenkor mennyire eszi az SSD-t?

  #30-ra:
  Jók a számítások, de egy kb. 20x20x20cm-es, max. 140W-ot fogyasztó kis dobozt, nem tartom "korrektnek" összehasonlítani egy rig-el, ami egy fél város fogyasztását produkálja - ami a későbbiekben a villanyszámlán is meglátszik. Persze, jóval gyorsabb lesz, ez tény.

  Csak egy kioxa van benne de 100%
  Nem lehet összehasonlítani, mert több tényezős a dolog, mint értéktartásban, mint munkagyorsaságban, és a kis cube amugy életképtelen mert nem tömegtermék, nem fenntartható kiesés esetén egy DD a kommerszpc-n itt meg... hupsz hetekig hónapokig leállás.
  Rendszer építésben a redundancia, és hibajavítás az előbbrevaló mint a 140W

  Donki Hóte :
  Hogy mondjam szépen Igénytelen munka gyümölcse.... szartak rá csak hozza a pénzt, jóvanazúgy... Ahogy nálam is 5 perc backup elhalasztása 2TB gépi kód elvesztése... pár hete egy 990 pro 4TB-os SSD-ről....
  Mi is tanultunk belőle azóta 2 offline lemezes mentés van visszatöltési próbával, ha nem fut le... akkkor riadó.

• S_x96x_S veterán

  #35

  #34 ddekany

  szept. 30., 13:32:15

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #34 ddekany

  #34 ddekany

  Nem valami olyasmi volt inkább, hogy korrumpált volt maga a mentés?

  ha lett volna automatikus full mentés kéthetente
  vagy legalább manuális a proci csere előtt,
  akkor vissza lehetett volna állni arra az állapotra.

  Ha a mentés korrumpálódni tud, - akkor az nem igazi mentés.
  Ha a mentést nem tesztelik le rendesen - akkor az nem igazi mentés

  Persze utólag mindenki okos.

• ddekany nagyúr

  #34

  #33 S_x96x_S

  szept. 30., 13:19:20

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ddekany

  nagyúr

  #33 S_x96x_S

  #33 S_x96x_S

  a totális megfektetés igazi oka az adatbázis mentés hiánya volt.

  és bár a CPU csere volt a kiváltó ok,
  de tényleges root cause analizis nem lett publikálva.
  és a rackforestben teljesen új vasat kapott.

  igazából bármi lehetett a mélyebben rejlő ok.
  ( alaplapi firmware kompatibilitás, tápegység , .... )
  akár cpu probléma is.

  Nem valami olyasmi volt inkább, hogy korrumpált volt maga a mentés?

• S_x96x_S veterán

  #33

  #32 Donki Hóte

  szept. 30., 13:05:41

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #32 Donki Hóte

  #32 Donki Hóte

  Nem az AMD EPYC proci volt az, amelyik tavaly totálisan megfektette a Prohardver teljes rendszerét valami nem definiált processzorhiba miatt?

  Ha ez így volt, akkor nem biztos, hogy egy AI modell futtatása során tutira hibamentesen működne

  a totális megfektetés igazi oka az adatbázis mentés hiánya volt.

  és bár a CPU csere volt a kiváltó ok,
  de tényleges root cause analizis nem lett publikálva.
  és a rackforestben teljesen új vasat kapott.

  igazából bármi lehetett a mélyebben rejlő ok.
  ( alaplapi firmware kompatibilitás, tápegység , .... )
  akár cpu probléma is.

• Donki Hóte nagyúr

  #32

  #30 Tamás9x

  szept. 30., 12:47:23

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Donki Hóte

  nagyúr

  #30 Tamás9x

  #30 Tamás9x

  Az árak közben durván emelkednek
  A szeletelést és optimalizálásat megoldja 10-14 óra alatt egy Astra6.0 Ultra.
  Debuggal mindennel eggyütt.

  Nem az AMD EPYC proci volt az, amelyik tavaly totálisan megfektette a Prohardver teljes rendszerét valami nem definiált processzorhiba miatt?

  Ha ez így volt, akkor nem biztos, hogy egy AI modell futtatása során tutira hibamentesen működne

• peet05 senior tag

  #31

  #27 Tamás9x

  szept. 30., 12:31:17

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  peet05

  senior tag

  #27 Tamás9x

  #27 Tamás9x

  A plafon amit eddig fel tudtam szeletelni 235B 141GB 64GB rendszermemórián. tized/százados tokensebességgel fut, de fut. 82-470gb tömörítéstól függően, Q4/INT4, fentebb nem metem menni, még idő hiányában.

  Korrekt.
  Ilyenkor mennyire eszi az SSD-t?

  #30-ra:
  Jók a számítások, de egy kb. 20x20x20cm-es, max. 140W-ot fogyasztó kis dobozt, nem tartom "korrektnek" összehasonlítani egy rig-el, ami egy fél város fogyasztását produkálja - ami a későbbiekben a villanyszámlán is meglátszik. Persze, jóval gyorsabb lesz, ez tény.

• Tamás9x őstag

  #30 szept. 30., 11:04:45

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  Az árak közben durván emelkednek
  A szeletelést és optimalizálásat megoldja 10-14 óra alatt egy Astra6.0 Ultra.
  Debuggal mindennel eggyütt.

• S_x96x_S veterán

  #29

  #28 kenand

  szept. 30., 10:18:30

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #28 kenand

  #28 kenand

  Jóval olcsóbban ki lehet hozni X99-es alaplappal 4 csatornás DDR4 ECC RAM-mal (akár 128GB ) + 1-2 DB RTX kártyával (2060 12GB vagy 3060 12GB) LLM egy része a VRAM-ban fut ami nem fér az a 4 csatornás RAM-ban

  Egy X99-es rendszer 2133–2666 MHz között fut,
  így kb. 68–85 GB/s a memória sávszélesség - vagyis nem egy kategória.
  A Gorgon Halo -nak ennél 3x nagyobb a sávszélessége.

  Ráadásul 192GB LPDDR5X - vagyis alacsony fogyasztású.
  
  Ha van valakinek otthon egy elfekvő X99 -se, akkor próbálkozhat,
  de használtan beszerezni - csak annak való, aki szeret régi konfigokkal bütykölni.

• kenand veterán

  #28 szept. 30., 09:57:08

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  kenand

  veterán

  Jóval olcsóbban ki lehet hozni X99-es alaplappal 4 csatornás DDR4 ECC RAM-mal (akár 128GB ) + 1-2 DB RTX kártyával (2060 12GB vagy 3060 12GB) LLM egy része a VRAM-ban fut ami nem fér az a 4 csatornás RAM-ban

• Tamás9x őstag

  #27

  #26 peet05

  szept. 30., 08:54:40

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #26 peet05

  #26 peet05

  Itt most mekkora modellekről beszélgetünk egyébként (mármint ami Nálad fut)?

  A plafon amit eddig fel tudtam szeletelni 235B 141GB 64GB rendszermemórián. tized/százados tokensebességgel fut, de fut. 82-470gb tömörítéstól függően, Q4/INT4, fentebb nem metem menni, még idő hiányában.

• peet05 senior tag

  #26

  #23 Tamás9x

  szept. 30., 07:52:16

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  peet05

  senior tag

  #23 Tamás9x

  #23 Tamás9x

  Nah pont itt van akkor az elbeszélés egyás mellett Nincs oylan hogy nem fut, vánszorog igy is, de 1000 euroért, vagy vánszorog úgy is, de elmondhatod, hogy van 192GB ramod 8000euróért
  Nekem vánszorog 500 Euróért, 64GB rammal 512GB SSD-vel egy 7430-on.
  Cserébe 1 nap plusz prograomzás, hogy darabolva legyen a modell....

  Itt most mekkora modellekről beszélgetünk egyébként (mármint ami Nálad fut)?

• csibe1 veterán

  #25

  #13 fkaresz

  szept. 29., 20:15:29

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  csibe1

  veterán

  #13 fkaresz

  #13 fkaresz

  Bizony sok pénz, de 192Gb memória a mai piaci árak mellett ennyire megnyomja az árat, egyébként a piac idővel úgyis beárazza.......

  Azért a 4TB-os SSD-t se ingyen osztják, sajnos.

• Tamás9x őstag

  #24 szept. 29., 14:56:00

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  Hupsz dupla.

• Tamás9x őstag

  #23

  #20 peet05

  szept. 29., 14:40:30

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #20 peet05

  #20 peet05

  De most a nem fut, vagy vánszorog-ot állítod szembe a fut és/vagy lassan fut-tal.

  És az is megér egy említést, hogy 25-30W-tól rendelkezésre áll a 215-220GB/s, Strix Halo esetében, gondolom ez a Gorgon-nál sem változott nagyon.

  Nah pont itt van akkor az elbeszélés egyás mellett Nincs oylan hogy nem fut, vánszorog igy is, de 1000 euroért, vagy vánszorog úgy is, de elmondhatod, hogy van 192GB ramod 8000euróért
  Nekem vánszorog 500 Euróért, 64GB rammal 512GB SSD-vel egy 7430-on.
  Cserébe 1 nap plusz prograomzás, hogy darabolva legyen a modell....

• ddekany nagyúr

  #22

  #21 S_x96x_S

  szept. 29., 14:03:53

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ddekany

  nagyúr

  #21 S_x96x_S

  #21 S_x96x_S

  prompt processing-nél ( prefill ) a számítás a fontos
  a token generáláskor pedig már a bandwith
  
  A MoE mindkettőnél segíthet, mert kevesebb paramétert aktivál.
  Nem véletlen, hogy az extrém nagy kínai open modellek is MoE -sok.

  Meg a nagy nem-kínai zárt modellek is MoE-sok. Tudommal, ez egy ideje alap. De amúgy persze, "helyi" modellnél pláne fontos a sebességhez.

• S_x96x_S veterán

  #21

  #19 paljani

  szept. 29., 14:01:02

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #19 paljani

  #19 paljani

  A sok paraméteres nagy nyelvi modellek (LLM-ek) a futtatásuk (következtetés/inference) során szinte teljes mértékben memória-sávszélesség korlátosak (memory bandwidth bound), nem pedig számítási kapacitás korlátosak (compute bound). A MoE valamennyire segít, de az sem lesz egy speed demon...

  Szar ez a helyzet mindenhogy.

  prompt processing-nél ( prefill ) a számítás a fontos
  a token generáláskor pedig már a bandwith
  
  A MoE mindkettőnél segíthet, mert kevesebb paramétert aktivál.
  Nem véletlen, hogy az extrém nagy kínai open modellek is MoE -sok.

• peet05 senior tag

  #20

  #18 Tamás9x

  szept. 29., 13:49:50

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  peet05

  senior tag

  #18 Tamás9x

  #18 Tamás9x

  Ennyi pénzért pedig teljesítmény sem.

  De most a nem fut, vagy vánszorog-ot állítod szembe a fut és/vagy lassan fut-tal.

  És az is megér egy említést, hogy 25-30W-tól rendelkezésre áll a 215-220GB/s, Strix Halo esetében, gondolom ez a Gorgon-nál sem változott nagyon.

• paljani senior tag

  #19 szept. 29., 12:59:05

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  paljani

  senior tag

  A sok paraméteres nagy nyelvi modellek (LLM-ek) a futtatásuk (következtetés/inference) során szinte teljes mértékben memória-sávszélesség korlátosak (memory bandwidth bound), nem pedig számítási kapacitás korlátosak (compute bound). A MoE valamennyire segít, de az sem lesz egy speed demon...

  Szar ez a helyzet mindenhogy.

• Tamás9x őstag

  #18

  #17 peet05

  szept. 29., 11:49:20

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #17 peet05

  #17 peet05

  De pont ez az egyik lényege a Halo-nak, hogy nem kell darabolni, illetve nincs PCIe limit sem.

  Ennyi pénzért pedig teljesítmény sem.

• peet05 senior tag

  #17

  #15 Tamás9x

  szept. 29., 11:36:42

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  peet05

  senior tag

  #15 Tamás9x

  #15 Tamás9x

  Mindenki kötelezően 1:1 be eb akarja tölteni memóriáb a modellt, pedig lehet darabolni is, és itt majd a blokkmásolás közbeni PCIE sebesség lesz majd a limit. Nekem is darabolva van, és kulon workerenkként, érdemesebb az AI-t megkérdezni jelenleg hol tart ez a offloading; CPU offload; disk offload; layer offloading; out-of-core inference; model shardingmemory mapping (mmap); prefetching; paged KV cache... stb keresőszavakra

  De pont ez az egyik lényege a Halo-nak, hogy nem kell darabolni, illetve nincs PCIe limit sem.

• S_x96x_S veterán

  #16

  #5 ddekany

  szept. 29., 10:00:05

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  #5 ddekany

  #5 ddekany

  Amik általános célra kicsik, és főleg ahogy mész az ilyen 200B+ irányba, kezdenek kínosan lassúak lenni (elve a ~250 GB/s memória sávszélesség korlátoz). Az meg eléggé spekulatív, hogy az a méret a jövőben hasznos is lesz, és ezzel a generációs gyorsítóval hatékony. Persze akkor majd ezeknek kilő az ára, és aki most vett, az meggazdagszik.

  > Amik általános célra kicsik, és főleg ahogy mész az ilyen 200B+ irányba, kezdenek kínosan lassúak lenni (elve a ~250 GB/s memória sávszélesség korlátoz).

  - ez az RTX/DGX SPARK alternativája - ott is kicsi a sávszélesség.
  Az Apple -höz képest már tényleg kicsi a memória sávszélesség, de annak az ára is sokkal magasbb.
  ilyen gépen MoE modellt érdemes futtatni.

  - a 192GB Egyesített memória lényege, hogy sokkal nagyobb modellt is tudsz futtatni
  és nem kell hozzá 2x 128GB.
  például ott a "GLM-5.3-Flash"
  ( "320B total parameters and just 18B active parameters" )
  ami nem fut el a DGX Spark -on, de ezen legalább fog futni, mégha nem is lesz villám vill.

  Az "AMD Ryzen™ AI Max+ PRO 495" :
  Overall TOPS : Up to 131 TOPS
  NPU TOPS : Up to 55 TOPS

  Nem tökéletes,
  de alternativa lehet, azoknak akiknek az X86 kompatibilitás fontos lehet
  és van elég pénzük megfizetni egy ilyen kütyüt.

  Ha valakinek nem tetszik, akkor tekintsen úgy rá, hogy ez is növeli a versenyt,
  ( és emiatt olcsóbban tud venni DGX vagy RTX SPARK -ot vagy amit csak akar )

• Tamás9x őstag

  #15

  #12 peet05

  szept. 29., 09:58:25

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #12 peet05

  #12 peet05

  Hiába a nagyobb TOPS az rtx-nél, a 12-16GB vRAM miatt a nagyobb modellekkel nem lesz probléma (nem csak sebesség, futtatás terén is)?

  Mindenki kötelezően 1:1 be eb akarja tölteni memóriáb a modellt, pedig lehet darabolni is, és itt majd a blokkmásolás közbeni PCIE sebesség lesz majd a limit. Nekem is darabolva van, és kulon workerenkként, érdemesebb az AI-t megkérdezni jelenleg hol tart ez a offloading; CPU offload; disk offload; layer offloading; out-of-core inference; model shardingmemory mapping (mmap); prefetching; paged KV cache... stb keresőszavakra

• hokuszpk nagyúr

  #14

  #1 Yodafon

  szept. 29., 09:49:03

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  hokuszpk

  nagyúr

  #1 Yodafon

  #1 Yodafon

  mit erolkodnek meg az usb 2 portokkal????

  egérre, billentyüzetre bőven jó az.

• fkaresz tag

  #13

  #11 .mf

  szept. 29., 08:51:00

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  fkaresz

  tag

  #11 .mf

  #11 .mf

  6600 és 6900 euró egy kínai gépért, amiben külön GPU sincs, csak APU?
  Először azt hittem csak elírás, de nem, tényleg ennyiért hirdetik

  Bizony sok pénz, de 192Gb memória a mai piaci árak mellett ennyire megnyomja az árat, egyébként a piac idővel úgyis beárazza.......

• peet05 senior tag

  #12

  #9 Tamás9x

  szept. 29., 08:48:49

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  peet05

  senior tag

  #9 Tamás9x

  #9 Tamás9x

  55TOPS mellett szerinted mennyit számít SSD vagy ram ? Megsúgom semennyit
  RTX4070TI-nél 1500 TOPS sac/kb ott már igen számítana.

  Hiába a nagyobb TOPS az rtx-nél, a 12-16GB vRAM miatt a nagyobb modellekkel nem lesz probléma (nem csak sebesség, futtatás terén is)?

• .mf veterán

  #11 szept. 28., 23:21:52

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  .mf

  veterán

  6600 és 6900 euró egy kínai gépért, amiben külön GPU sincs, csak APU?
  Először azt hittem csak elírás, de nem, tényleg ennyiért hirdetik

• Pötyi őstag

  #10

  #8 Donki Hóte

  szept. 28., 22:46:09

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Pötyi

  őstag

  #8 Donki Hóte

  #8 Donki Hóte

  Utána kellett, hogy nézzek, hogy mi az a havannai paprika

  Pedig habanerót évek óta termesztek itthon, de isten bizony nem tudtam, hogy egyesek havannainak mondják

  Carolina Reaper rules!

• Tamás9x őstag

  #9

  #4 borg25

  szept. 28., 22:05:09

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  #4 borg25

  #4 borg25

  A lényeg nem az 55TOPS, hanem a 192GB RAM amiben már bőven elfér egy 188B vagy 397B modell is.

  55TOPS mellett szerinted mennyit számít SSD vagy ram ? Megsúgom semennyit
  RTX4070TI-nél 1500 TOPS sac/kb ott már igen számítana.

• Donki Hóte nagyúr

  #8 szept. 28., 20:08:08

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Donki Hóte

  nagyúr

  Utána kellett, hogy nézzek, hogy mi az a havannai paprika

  Pedig habanerót évek óta termesztek itthon, de isten bizony nem tudtam, hogy egyesek havannainak mondják

• zooly aktív tag

  #7

  #4 borg25

  szept. 28., 18:51:15

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  zooly

  aktív tag

  #4 borg25

  #4 borg25

  A lényeg nem az 55TOPS, hanem a 192GB RAM amiben már bőven elfér egy 188B vagy 397B modell is.

  Nem tudom hogy jonnek ki nektek ezek a modell meretek 1 bitesre kvantlva 0 contextel akkor egy 1.5T modell is belefer, azzal kene reklamozni.

• hapakj addikt

  #6

  #1 Yodafon

  szept. 28., 18:39:09

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  hapakj

  addikt

  #1 Yodafon

  #1 Yodafon

  mit erolkodnek meg az usb 2 portokkal????

  Illetve úgy tudom az USB 2 controller hw ma már faék egyszerűnek számít és keveset fogyaszt.

  S igazából a gépre kötött perifériák többségének nem kell több.

• ddekany nagyúr

  #5

  #4 borg25

  szept. 28., 17:48:42

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ddekany

  nagyúr

  #4 borg25

  #4 borg25

  A lényeg nem az 55TOPS, hanem a 192GB RAM amiben már bőven elfér egy 188B vagy 397B modell is.

  Amik általános célra kicsik, és főleg ahogy mész az ilyen 200B+ irányba, kezdenek kínosan lassúak lenni (elve a ~250 GB/s memória sávszélesség korlátoz). Az meg eléggé spekulatív, hogy az a méret a jövőben hasznos is lesz, és ezzel a generációs gyorsítóval hatékony. Persze akkor majd ezeknek kilő az ára, és aki most vett, az meggazdagszik.

• borg25 senior tag

  #4

  #3 Tamás9x

  szept. 28., 17:19:47

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  borg25

  senior tag

  #3 Tamás9x

  #3 Tamás9x

  55 topsért ekkora felhajtást... lenne 10.000... ezt hozza a laptopom is, lényegében értelmetlen de el kell adni...

  A lényeg nem az 55TOPS, hanem a 192GB RAM amiben már bőven elfér egy 188B vagy 397B modell is.

• Tamás9x őstag

  #3 szept. 28., 16:47:53

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Tamás9x

  őstag

  LOGOUT blog (1)

  55 topsért ekkora felhajtást... lenne 10.000... ezt hozza a laptopom is, lényegében értelmetlen de el kell adni...

• Lacccca87 addikt

  #2

  #1 Yodafon

  szept. 28., 16:09:05

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Lacccca87

  addikt

  #1 Yodafon

  #1 Yodafon

  mit erolkodnek meg az usb 2 portokkal????

  Gondolom az USB2-re nem kell vagy valami semmiség licence díjat fizetni, az újabbra meg többet kellene. Funkciót ellátja amire kell (perifériát csatlakoztatni), az adatot meg úgysem innen küldik rá, rá hogy számítana a sebesség.

• Yodafon őstag

  #1 szept. 28., 15:49:37

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Yodafon

  őstag

  mit erolkodnek meg az usb 2 portokkal????

Új hozzászólás Aktív témák