Új hozzászólás Aktív témák

• #13 S_x96x_S addikt

  Új Válasz 2025-02-26 11:44:06 #13

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  Egy M2 Ultra - 800 BW [GB/s] memória sebességgel és 60-core os GPU -val
  azért még jelentősen erősebb ( AI-ban ) mint a FrameWork desktop

  A FrameWork desktop - előnye az Apple konfigokkal szemben:
  - erős X86-64 CPU magok és AVX-512 támogatás
  - Windows és Linux kompatibilitás
  - a lehetőségekhez képest jobb bővítés. ( sok olcsó M.2 -es diszk. )
  - és az M.2 Oculunk-en keresztül lehetővé teszi akármilyen külső GPU csatlakoztatását is. ( pl. egy RTX 5090 -es -t is )
  És valószínüleg lesz más gyártónak is ( pl. HP )

  Hátránya:
  - az AMD ROCm - még döcögős egy kicsit - nem árt huppanókra számítani.
  - az NPU linux alatt - még döcögösebbb (saját tapasztalat )
  De van remény - hogy sokkal jobb lesz !

  ------------------

  A 4800 USD - konfig tartalma: ( és hamarosan jöhet az M4/M5 -ös Ultra !! )
  "Apple M2 Ultra with 24‑core CPU, 60‑core GPU, 32‑core Neural Engine
  128GB unified memory
  1TB SSD storage
  Front: Two Thunderbolt 4 ports, one SDXC card slot
  Back: Four Thunderbolt 4 ports, two USB-A ports, one HDMI port, one 10Gb Ethernet port, one 3.5 mm headphone jack"

  és 192GB memóriával $5,599. 800 BW [GB/s] !

  Performance of llama.cpp on Apple Silicon M-series:
  https://github.com/ggml-org/llama.cpp/discussions/4167

  ------------------

  Ha valakit komolyabban is érdekel az AI
  - Prohardver: "Mesterséges intelligencia topik"
  - https://www.reddit.com/r/LocalLLaMA/ ( helyi LLM-ek futtatása )
  - https://www.reddit.com/r/ChatGPTCoding/ ( LLM programozásra )

  -------------------

  Ha valakinek még olcsóbb megoldás kell,
  akkor lehet, hogy az EU -van is megjelenik egy kínai alternativa:

  Orange Pi AI Studio Pro mini PC - Kínai GPU -val ( Ascend 310s )
  [ 352 TOPS + 192GB LPDDR4X ]
  "Orange Pi AI Studio Pro Mini PC target Nvidia Jetson Orin Nano with up to 352 TOPS"
  
  ----------

  A jó hír - hogy lesz egy kis verseny !

Új hozzászólás Aktív témák