Lassan elég sok egyszerű alternatívát kapnak a felhasználók a lokális AI chatprogramokat tekintve, gondolva itt a gyártói megoldásokra, például az NVIDIA-féle ChatRTX-re, vagy az Intel-féle AI Playgroundra, de ha általánosabb opciót keresünk, akkor mehet az LM Studio alkalmazás, amit egyébként az AMD ajánl. Ezek a maguk kategóriájában nagyszerűek, de az AI PC-k érkezésével az NPU is bekerült a csomagba, amelyekre még nem igazán fókuszálnak az általánosra szabott programok.
Hirdetés
Az AMD a GAIA bejelentésével erre reagál, ugyanis elkészítettek egy olyan lokális AI chatprogramot, ami hibrid módban képes a Ryzen AI platformok NPU-ját és IGP-jét egyszerre használni, és ez lényegesen hatékonyabb feldolgozást kínál, mintha csak az egyik részegység működne. A rendszer a TurnkeyML-féle, nyílt forráskódú Lemonade SDK-ra épít, ezzel éri el a rendelkezésre álló erőforrásokat, ami a Ryzen AI hardverek esetében egyszerre jeleneti a CPU-t, az NPU-t és az IGP-t. Persze létezik egy általános telepítő is, amivel a GAIA minden egyéb Windows 11 operációs rendszert futtató PC-n üzemképes, de ilyenkor nem tudja használni az NPU-t.
A GAIA többféle AI ügynököt támogat, amelyek attól függően kiválaszthatók, hogy milyen típusú válaszokra van szükségünk, a szükséges LLM-ek pedig külön beszerezhetők. Információink szerint a rendszer igyekszik az NPU-t használni, ha hibrid módban fut, mivel ez a részegység az energiahatékonyság tekintetében sokszorosan jobb például egy IGP-hez vagy egy CPU-hoz viszonyítva. És emiatt készítette el az AMD a GAIA-t, mivel ezzel a lokális AI chatprogrammal a Ryzen AI platformmal szerelt notebookok kevésbé eszik majd az üzemidőt, így jóval tovább működnek egyetlen feltöltéssel. A konkrét előny függ az adott munkakörnyezettől, de úgy tudjuk, hogy kétszer-háromszor hosszabb ideig lehet a konnektortól távol maradni, miközben a válaszok generálása is gyorsabb.
A fentiek persze nem meglepők, hiszen az NPU-kat eleve erre a munkafolyamatra tervezték, míg az IGP-ket és a CPU-kat nagyon nem, így ezek jóval rosszabb hatásfokkal futtatják az AI feladatokat, mint egy célhardver.
A GAIA első, 0.7.4-es verziója letölthető az alábbi GitHub oldalról.
