[Re:] Prezentálta a Ryzen AI szoftverkörnyezetét az AMD

Hirdetés

Legfrissebb anyagok

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

LOGOUT témák

Új hozzászólás Aktív témák

Abu85 HÁZIGAZDA

#15
#14 martonx
2023-12-09 20:55:38

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#14 martonx

#14 martonx
Mindig ettől félek, hogy ami bármire jó, az valójában semmire se lesz jó, de ne legyen igazam. Majd 2 év múlva meglátjuk lecsegett-e a hype vagy valós tényleg valós előnye lesz a mindennapokban.

Mivel minden AI feladat a hardver szintjén nagyjából 99%-ban mátrixszorzás, így a hardvernek is elég ennyire egyszerűnek lennie. Az már nem igazán a hardver reszortja, hogy a program ezt a sok számítási kapacitást mire használja. Ezért írtam, hogy magát a számítási kapacitást bármire lehet használni, ami ötletszinten felmerül.
martonx veterán

#14
#13 Abu85
2023-12-09 16:32:08

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

martonx

veterán

#13 Abu85

#13 Abu85
Konkrétan bármire, ami megadott neuronhálóból következtet. Tök mindegy, hogy mit találnak ki, ha van egy neuronháló, azt kezeli a Ryzen AI. Azt, hogy mit csinál az a hardver szempontjából mindegy, a valós feldolgozás úgyis 99%-ban mátrixszorzás.
#11 martonx : Miért kellene ezeket újraírni? Ott az ONNX futtatási környezet. Az több Execution Providers implementációt támogat. Ha egyszer megírod ennek a környezetnek megfelelő programot, akkor az onnantól futhat Azure-ban, a WebNN-nel, Ryzen AI-t, DirectML-en a GPU-kon, stb. A Ryzen AI ugye valójában egy Vitis AI, csak át van nevezve, de az alapja a Vitis. Azért van már most száznál is több alkalmazás, ami támogatja, mert igazából a fejlesztői munka az nem sok. Lényegében kimerül az ONNX futtatási környezet tesztelésében.

És alapvetően nem szükséges a Ryzen AI ezekhez a programokhoz. Mehetnek azok DirectML-en is a GPU-val, csak a Ryzen AI sokkal hatékonyabb erre a feladatra. De nem kötelező, gyengébb minőségben lehetnek DirectML-en futó GPU-s implementációk is. Nagy munka ezekkel sincs, a ONNX futtatási környezet mellé tartozik egy DirectML Execution Providers implementáció, amit a Microsoft biztosít.

Mindig ettől félek, hogy ami bármire jó, az valójában semmire se lesz jó, de ne legyen igazam. Majd 2 év múlva meglátjuk lecsegett-e a hype vagy valós tényleg valós előnye lesz a mindennapokban.
Abu85 HÁZIGAZDA

#13
#10 martonx
2023-12-09 15:42:35

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#10 martonx

#10 martonx
Értem én, hogy gőzgép, de mi hajtja? Magyarán konkrét use-case-t kérek, hogy ez mire lesz jó?
Mert olyan érzésem van ezzel az egész AI dologgal, mint anno a blokkchain-nel. Valaki kitalálta a gombot, és azóta is keressük hozzá a kabátot.

Konkrétan bármire, ami megadott neuronhálóból következtet. Tök mindegy, hogy mit találnak ki, ha van egy neuronháló, azt kezeli a Ryzen AI. Azt, hogy mit csinál az a hardver szempontjából mindegy, a valós feldolgozás úgyis 99%-ban mátrixszorzás.
#11 martonx : Miért kellene ezeket újraírni? Ott az ONNX futtatási környezet. Az több Execution Providers implementációt támogat. Ha egyszer megírod ennek a környezetnek megfelelő programot, akkor az onnantól futhat Azure-ban, a WebNN-nel, Ryzen AI-t, DirectML-en a GPU-kon, stb. A Ryzen AI ugye valójában egy Vitis AI, csak át van nevezve, de az alapja a Vitis. Azért van már most száznál is több alkalmazás, ami támogatja, mert igazából a fejlesztői munka az nem sok. Lényegében kimerül az ONNX futtatási környezet tesztelésében.

És alapvetően nem szükséges a Ryzen AI ezekhez a programokhoz. Mehetnek azok DirectML-en is a GPU-val, csak a Ryzen AI sokkal hatékonyabb erre a feladatra. De nem kötelező, gyengébb minőségben lehetnek DirectML-en futó GPU-s implementációk is. Nagy munka ezekkel sincs, a ONNX futtatási környezet mellé tartozik egy DirectML Execution Providers implementáció, amit a Microsoft biztosít.
ddekany nagyúr

#12
#11 martonx
2023-12-09 09:43:50

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

ddekany

nagyúr

#11 martonx

#11 martonx
De ezek a funkciók már sok-sok éve velünk vannak. Ezekben semmi új nincs. Ráadásul ki fogja ezek újraírni gyártó specifikus x darab különböző keretrendszerben?

A minőség nem mindegy, pl. a meeting háttér kitakarás ami zoomban van, az egy vicc. Értelmes leiratozás dettó.
martonx veterán

#11
#8 ddekany
2023-12-09 09:41:03

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

martonx

veterán

#8 ddekany

#8 ddekany
Nem csak generatív AI-nak fekszik feltételezem, hanem lehet pl. valami kép/videó manipuláció (pl. jobb háttér eltávolítás meeting-en), beszédfelismerés, stb.

De ezek a funkciók már sok-sok éve velünk vannak. Ezekben semmi új nincs. Ráadásul ki fogja ezek újraírni gyártó specifikus x darab különböző keretrendszerben?
martonx veterán

#10
#5 Abu85
2023-12-09 09:38:34

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

martonx

veterán

#5 Abu85

#5 Abu85
Lokálisan futtatható generatív AI-ra.

Értem én, hogy gőzgép, de mi hajtja? Magyarán konkrét use-case-t kérek, hogy ez mire lesz jó?
Mert olyan érzésem van ezzel az egész AI dologgal, mint anno a blokkchain-nel. Valaki kitalálta a gombot, és azóta is keressük hozzá a kabátot.
Abu85 HÁZIGAZDA

#9
#8 ddekany
2023-12-08 13:15:10

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#8 ddekany

#8 ddekany
Nem csak generatív AI-nak fekszik feltételezem, hanem lehet pl. valami kép/videó manipuláció (pl. jobb háttér eltávolítás meeting-en), beszédfelismerés, stb.

Persze nyilván, eleve kisebb munkaterhelés, tehát ami jó generatívra, az jó ezekre is.
ddekany nagyúr

#8
#5 Abu85
2023-12-08 12:57:26

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

ddekany

nagyúr

#5 Abu85

#5 Abu85
Lokálisan futtatható generatív AI-ra.

Nem csak generatív AI-nak fekszik feltételezem, hanem lehet pl. valami kép/videó manipuláció (pl. jobb háttér eltávolítás meeting-en), beszédfelismerés, stb.
Abu85 HÁZIGAZDA

#7
#6 freeapro
2023-12-08 11:46:39

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#6 freeapro

#6 freeapro
Ez nem arról szól, hogy a neurális hálót FPGA HW-el implementálják?

Nem. Arra a Xilinx van. De az nem lenne túl jó egy SoC APU-ba, mert nem optimális a hardver hozzá, a Xilinx se kínál csak FPGA-t AI-ra. Az XDNA az a Xilinx Versal termékcsaládjában található AI Engine enyhe módosítása. Az AI Engine az alapvetően DSP-szerű, és az célirányosan AI-ra szabott hardver. Ezen belül is az AI következtetés szakaszára.
Itt van egyébként az, amit a Xilinx kínál AI-ra: [link] - láthatod, hogy több részegység található benne.
freeapro senior tag

#6
#3 Abu85
2023-12-08 11:42:07

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

freeapro

senior tag

#3 Abu85

#3 Abu85
Ez nem FPGA. Ez a Versal AI Engine része kivágva, ami inkább DSP.
Az FPGA nem igazán jó AI-ra. A legtöbb AI motor egyébként DSP-szerű, mert az az optimális megvalósítás.

Az NV megoldásai nem DSP-k, ami tréning miatt jó, de következtetésnél látványos a perf/watt hátránya, ezért sem használnak olyan megoldást a rendszerchipekben, mint amit az NV használ. Itt nincs szükség tréningre, tehát rá kell menni a perf/wattra.
Az NV megoldásához az AMD-nek az IGP-jében van hasonló, de pont ugyanúgy hatalmas a perf/watt hátránya a Ryzen AI-hoz viszonyítva.

Ez nem arról szól, hogy a neurális hálót FPGA HW-el implementálják?
Abu85 HÁZIGAZDA

#5
#4 martonx
2023-12-08 10:58:59

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#4 martonx

#4 martonx
Mindez oké, de mégis mire lesz ez jó?

Lokálisan futtatható generatív AI-ra.
martonx veterán

#4 2023-12-08 10:15:29

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

martonx

veterán

Mindez oké, de mégis mire lesz ez jó?
Abu85 HÁZIGAZDA

#3
#1 freeapro
2023-12-07 23:54:36

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Abu85

HÁZIGAZDA

#1 freeapro

#1 freeapro
Ez az FPGA hw nagyságrendekkel jobb teljesítményű háló lesz, mint az nVidia megoldásai, vagy csak a szokásos sokat ígérő, de szarul teljesítő AMD technikai forradalom?

Ez nem FPGA. Ez a Versal AI Engine része kivágva, ami inkább DSP.
Az FPGA nem igazán jó AI-ra. A legtöbb AI motor egyébként DSP-szerű, mert az az optimális megvalósítás.

Az NV megoldásai nem DSP-k, ami tréning miatt jó, de következtetésnél látványos a perf/watt hátránya, ezért sem használnak olyan megoldást a rendszerchipekben, mint amit az NV használ. Itt nincs szükség tréningre, tehát rá kell menni a perf/wattra.
Az NV megoldásához az AMD-nek az IGP-jében van hasonló, de pont ugyanúgy hatalmas a perf/watt hátránya a Ryzen AI-hoz viszonyítva.
hokuszpk nagyúr

#2
#1 freeapro
2023-12-07 15:57:05

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

hokuszpk

nagyúr

#1 freeapro

#1 freeapro
Ez az FPGA hw nagyságrendekkel jobb teljesítményű háló lesz, mint az nVidia megoldásai, vagy csak a szokásos sokat ígérő, de szarul teljesítő AMD technikai forradalom?

ezt még nem az AMD tervezte, megvették a XILINXet, annak a technologiaja lett belegyomoszolve.
freeapro senior tag

#1 2023-12-07 15:24:33

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

freeapro

senior tag

Ez az FPGA hw nagyságrendekkel jobb teljesítményű háló lesz, mint az nVidia megoldásai, vagy csak a szokásos sokat ígérő, de szarul teljesítő AMD technikai forradalom?