Új hozzászólás Aktív témák

• ddekany nagyúr

  #7 aug. 10., 15:28:04

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ddekany

  nagyúr

  Ez ami ráfért egyetlen chippre, egy 3b/6b quantitized Llama 3.1 8B, aminek pontos méretét nem tudjuk, de tippeljük mondjuk 6GB-re. Akkor egy közepes (700B) modellenek FP8-on kb. 87 ilyen chip kell, míg egy Kimi K3-nak (2.8T, 96 réteg, 16+2 expert) kb 466 db ilyen chip (mind egyedi), amiken remélhetően csak hatákonyan egy irányba kereszülfolyik a számítás. Ahhoz fontos, hogy egy expert egy layer-re teljes egészében beleférjen egy chipbe, különben keződik a oda-vissza komminukálós kavar. Ja, és minden egyes chipbe bele kell férjen az adott réteghez tartozó KV Cache is, amit ugyancsak a chipben, SRAM-ban tárolnak. Tekintetel az SRAM fizikai méretére, hát... számolja ki ak tudja, de talán nem blokkoló gond.

  Amúgy állítólag nem teljesen fix a model, mert némi LoRA-s jellegű hangolásra lehet benne hagyni lehetőséget.

• ergoGnomik aktív tag

  #6

  #2 zooly

  aug. 9., 10:51:58

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ergoGnomik

  aktív tag

  LOGOUT blog

  #2 zooly

  #2 zooly

  Csak a dronokba nem kell LLM, teljesen mas alapokon mukodnek, azokat pedig mar most is megoldjak olcson es energiahatekonyan.

  Javíts ki ha tévedek, mert ugye biztosan én tévedek, de egy neuronháló hardvert nem csak nagy nyelvi modellek futtatására lehet használni. És egy részben beégetett, jól belőtt neuronháló lehet rugalmasabb és energiahatékonyabb a "már most is megoldják olcsón és energiahatékonyan"-nál, nemde?

• Rimuru veterán

  #5 aug. 7., 23:37:52

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Rimuru

  veterán

  Csak a lenyeg maradt ki (), ha valaki kiprobalna: https://chatjimmy.ai/

• laed senior tag

  #4

  #1 ergoGnomik

  aug. 7., 21:36:07

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  laed

  senior tag

  #1 ergoGnomik

  #1 ergoGnomik

  Szerintem ez nem a nagy MI gyárakba lesz igazán jó, hanem az intelligens fegyverekként használandó olcsó drónokba. A nagy MI szolgáltatók állandóan fejlesztik a modelleket és ezért az elavult verziókat inkább megéri kifuttatni nekik, mint plusz pénzért garantáltan szemétre dobandó szilíciumba faragtatni. Az olcsó fegyvereknek meg elég kicsi a megoldandó problématere és ha egyszer ki van találva, már csak mérsékelt rugalmasságra van szükség az MI modell futtatásához. Viszont az alacsony energiaigény hozzájárulhat a hosszabb időtartamú és/vagy hatótávolságú bevethetőséghez. Emellett katonai alkalmazásokban az árérzékenység sem feltétlenül túl szigorú.

  mint plusz pénzért garantáltan szemétre dobandó szilíciumba faragtatni

  Szerintem rosszul értelmezed. Amúgy procikból is elég sűrűn jön új; lehet az az alkalmazás, amikor megéri cserélni. Legalábbis volt időszak, amikor ez nagyon ment; és az AI is még gyerekcipőben jár.

• S_x96x_S veterán

  #3 aug. 7., 20:26:45

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  S_x96x_S

  veterán

  > ABU: Annyi biztos, hogy a Taalas koncepciójával az AMD csak a nagy szolgáltatókat tudja majd célozni,

  Sok lehetőség van a technikában,

  de a text-to-speech / speech-to-text modellekkel a consumer réteget már most is meg lehetne célozni.
  ( beintegrálni az apu-kba , chipletes technológiával )

• zooly aktív tag

  #2

  #1 ergoGnomik

  aug. 7., 18:31:29

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  zooly

  aktív tag

  #1 ergoGnomik

  #1 ergoGnomik

  Szerintem ez nem a nagy MI gyárakba lesz igazán jó, hanem az intelligens fegyverekként használandó olcsó drónokba. A nagy MI szolgáltatók állandóan fejlesztik a modelleket és ezért az elavult verziókat inkább megéri kifuttatni nekik, mint plusz pénzért garantáltan szemétre dobandó szilíciumba faragtatni. Az olcsó fegyvereknek meg elég kicsi a megoldandó problématere és ha egyszer ki van találva, már csak mérsékelt rugalmasságra van szükség az MI modell futtatásához. Viszont az alacsony energiaigény hozzájárulhat a hosszabb időtartamú és/vagy hatótávolságú bevethetőséghez. Emellett katonai alkalmazásokban az árérzékenység sem feltétlenül túl szigorú.

  Csak a dronokba nem kell LLM, teljesen mas alapokon mukodnek, azokat pedig mar most is megoldjak olcson es energiahatekonyan.

• ergoGnomik aktív tag

  #1 aug. 7., 17:46:48

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ergoGnomik

  aktív tag

  LOGOUT blog

  Szerintem ez nem a nagy MI gyárakba lesz igazán jó, hanem az intelligens fegyverekként használandó olcsó drónokba. A nagy MI szolgáltatók állandóan fejlesztik a modelleket és ezért az elavult verziókat inkább megéri kifuttatni nekik, mint plusz pénzért garantáltan szemétre dobandó szilíciumba faragtatni. Az olcsó fegyvereknek meg elég kicsi a megoldandó problématere és ha egyszer ki van találva, már csak mérsékelt rugalmasságra van szükség az MI modell futtatásához. Viszont az alacsony energiaigény hozzájárulhat a hosszabb időtartamú és/vagy hatótávolságú bevethetőséghez. Emellett katonai alkalmazásokban az árérzékenység sem feltétlenül túl szigorú.

Új hozzászólás Aktív témák