Új hozzászólás Aktív témák

• moleculez veterán

  #6

  #5 rxmiss

  jún. 3., 13:11:57

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  moleculez

  veterán

  #5 rxmiss

  #5 rxmiss

  igen, a hasznalhato AI eroforras-igenye egyelore gyorsabban no, mint ahogy az azt futtato hardverek fejlodnek, szoval ez nem a smartwatch irany

  de biztosan jonnek majd uj technikak mindket oldalon, szoval fognak kozeledni elobb-utobb.

  Jelenleg valójában nyílik az olló, de ahogy olvasom a research papereket félszemmel, látom hogy jelenleg kb proof of concept szinten vagyunk, amiért el lehet kérni pénzt is. Viszont bőszen megy az útkeresés új architektúrák training és inference oldalon is, custom chipek, szóval előbb-utóbb beesik a hardware igény és a software komplexitás is.
  Egyrészt jelenleg ugye ez fenntarthatlan hogy bruteforce módon csak felskálázzuk a jelenlegi rendszert. Az viszont megmutatkozott, hogy iszonyatos kereslet van rá, és már ebben a formában is bőven használható és termel értéket.
  Szóval lehet hogy az egész LLM/transformer vonal vakvágány, lehet hogy nem és hardware oldalon kell ultraoptimalizt chipeket gyártani, a köv pár évben kiderül.

• rxmiss aktív tag

  #5

  #4 F34R

  jún. 1., 15:07:20

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  rxmiss

  aktív tag

  #4 F34R

  #4 F34R

  Nah azt fogom kizartnak tartani

  igen, a hasznalhato AI eroforras-igenye egyelore gyorsabban no, mint ahogy az azt futtato hardverek fejlodnek, szoval ez nem a smartwatch irany

  de biztosan jonnek majd uj technikak mindket oldalon, szoval fognak kozeledni elobb-utobb.

• F34R nagyúr

  #4

  #3 moleculez

  jún. 1., 14:49:55

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  F34R

  nagyúr

  #3 moleculez

  #3 moleculez

  Na ezaz… lokál AI inference valós idejű munkára egyelőre alkalmatan. Hosszabb folyamatokat pl classification kinlehet adni neki, ütemezett feladatokat, de nem ez fogja leváltani Claude Codeot manapság. De ahogy haladunk szerintem 1-2 év és menni fog átlag laptopon. 2-3 év és akár smart watchon is.

  Nah azt fogom kizartnak tartani

• moleculez veterán

  #3

  #2 Geller72

  jún. 1., 09:02:54

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  moleculez

  veterán

  #2 Geller72

  #2 Geller72

  ..ha megnyugtat, ez is tetű lassan futtat. .
  
  A matek egyszerű
  -Modellméret (70B Q8): ~72-75 GB.
  -Valós sávszélesség: ~230 GB/s.
  -Elméleti maximum: 230 \72 ~ 3,2 t/s
  Ha nem akarsz a minőségből leadni, akkor ugye maradsz Q8-nál. Akkor sajna ennyi.
  Nagyon max, 4-7 t/s-el számolhatsz, ha mondjuk elég a Q4 is, persze a CL sokat számít..
  Egy 35B-s, MoE modellel már azért "hasít"..csak az meg ugye.. nem 70B-s modell..

  Na ezaz… lokál AI inference valós idejű munkára egyelőre alkalmatan. Hosszabb folyamatokat pl classification kinlehet adni neki, ütemezett feladatokat, de nem ez fogja leváltani Claude Codeot manapság. De ahogy haladunk szerintem 1-2 év és menni fog átlag laptopon. 2-3 év és akár smart watchon is.

• Geller72 veterán

  #2

  #1 moleculez

  máj. 31., 18:32:09

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Geller72

  veterán

  LOGOUT blog

  #1 moleculez

  #1 moleculez

  Ok, elegendő Xb futtatásra de mekkora TPM output mellett?
  Apple M2/3 is futtat 70-90b modelleket, csak tetűlassan.

  ..ha megnyugtat, ez is tetű lassan futtat. .
  
  A matek egyszerű
  -Modellméret (70B Q8): ~72-75 GB.
  -Valós sávszélesség: ~230 GB/s.
  -Elméleti maximum: 230 \72 ~ 3,2 t/s
  Ha nem akarsz a minőségből leadni, akkor ugye maradsz Q8-nál. Akkor sajna ennyi.
  Nagyon max, 4-7 t/s-el számolhatsz, ha mondjuk elég a Q4 is, persze a CL sokat számít..
  Egy 35B-s, MoE modellel már azért "hasít"..csak az meg ugye.. nem 70B-s modell..

• moleculez veterán

  #1 máj. 31., 18:18:16

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  moleculez

  veterán

  Ok, elegendő Xb futtatásra de mekkora TPM output mellett?
  Apple M2/3 is futtat 70-90b modelleket, csak tetűlassan.

Új hozzászólás Aktív témák