Új hozzászólás Aktív témák

• #41 Raymond titán Kristof93 #37

  Új Válasz 2025-03-08 12:16:57 #41

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz Kristof93 #37 üzenetére

  Nocsak, ezt nem is lattam...

  Nem en vagyok eltevedve hanem te. A kontextus is jo lett volna ha megnezed. Itt arrol volt szo hogy egy rakat 256GB/s savszelt tudo 128GB-os gepet osszekotni hogy a nagy modellek menjenek. Ennek nincs ertelme az eszmeletlen ara miatt. Produktiv kornyezetben ezt nem csinalod mert a teljesitmeny csapnivalo, ezt max jatszadozasra es kiprobalasra jo (a kollega pl. a full Deepseek R1-et celozzta meg), oda meg nem fogsz 12-14K USD/EUR-t beleolni mert ugyanazt megkapod ennek az arnak a toredekeert. A Strix Halo-nal lathato 256bit DDR5-8000 alltal adott 256GB/s megvan a 8-12 csatornas szever platformoknal is ahol egy darab gepbe belerakod a szukseges 512-768GB RAM-t es a komplett ar a toredeke lesz a 6x Framework gepek aranak. Ha jobban megerolteted magad es turelmes vagy akkor 1-2 darab Framework gep araert megvan a 12 csatornas gep 768GB RAM-al.

• #38 S_x96x_S addikt Kristof93 #37

  Új Válasz 2025-02-26 18:41:45 #38

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Kristof93 #37 üzenetére

  a vram tényleg fontos ( mind a mennyiség / sávszélesség / és az ár is )

  > Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.

  ~ attól függ, hogy mit nevezünk igpu-nak;
  vagyis nem árt a pontosítás - mert mindenki mást ért alatta;
  ( AMD Instinct™ MI300A ; NVIDIA GH200 Grace Hopper Superchip; .... )

  Amúgy az AI gyorsítók fogalma elég tág;
  az Intelnek is van - AMX ( CPU-s ) esettanulmánya - amikor az A100 -nál jobb.
  "Performance: 17x Faster Than NVIDIA* A100 Tensor Core GPUs"
  és ott van még a régi "Xeon Phi" próbálkozás is.

  Amúgy ha nincs más - egy 12-csatornás Epyc -el 400 - 460.8 GB/sec - et ki lehet hozni.

Új hozzászólás Aktív témák