Új hozzászólás Aktív témák

• #41330 S_x96x_S őstag lenox #41328

  Új Válasz 2023-06-06 12:51:37 #41330

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  őstag

  válasz lenox #41328 üzenetére

  > Ez amugy eddig is igy volt az M1 ultra kapcsan,
  > csak most kicsivel nagyobbak a szamok.

  A memória és a Neural Engine teljesítménye ugrott meg ~ 50%-al.
  A NE ( ha jól tudom ) az nVidia Tensor Core -ok apple megfelelője .
  

  > Illetve Apple nem skalazodik, nv meg igen.

  igaz, de csak egyenlőre;
  a sajtreszelős M2 Ultra verzióban 6 db PCIe Gen4 slot -van.
  és adódik a gondolatkisérlet, hogy valamikor 800G/1.6T Ethernet is kerül bele

  Jelenleg egy egyszerű AI workstation -
  egy szerver + 4 db A6000 ADA 48GB-os kártyából áll. ( >= 20 misi Ft -ban )
  És erre az apple M2 Ultrás 192 GB konfigja az esetek
  egy kicsi részében reális alternatíva lehet.

  persze nem mindenkinek ;
  mert ha meg vagy kötve a CUDA-val, akkor nincs értelme a váltásnak
  és a mostani piac 90%-ra ez talán igaz is.
  De 1-5 éven belül a 10% kinőheti magát 30-50%-ra is és ha az nVidia nem vigyáz, akkor kiéneklik a szájából az AI sajtot és a piaci részesedést.

  A GPT/AI/LLM annyira felkapott lett az utóbbi fél évben,
  hogy mindenki azt próbálgatja .. ( legalábbis a hacker körökben )

  És most az is reális alternatíva, hogy felhőben ( nVidia ) betanítani a modellt
  és egy M2 Ultra 192GB memóriával - olcsón üzemeltetni
  a céges gépteremben ( vagy otthon a konyhában )
  3Milla vs. 20 Milla az elég nagy árkülönbség, hogy megérje a kisérletezgetés.

  Persze az nVidia rafinált és agilis és ki fogja védeni ezt a dolgot,
  és hamarosan a Grace-ből is lesz egy pöpec 192GB memóriás 3 Millás verzió.

  mert a verseny jó!

  Mottó: "A verseny jó!"

Új hozzászólás Aktív témák