Az NVIDIA nagyjából egy hónapja jelentette be lokális AI chatprogramját, ami Chat with RTX néven tölthető le, és ezzel a cég alternatívát kínált az LM Studio alkalmazásra. Az AMD erre közvetett módon reagált egy blogbejegyzésben, ahol leírták az ügyfeleiknek, hogy miképpen lehet használni az említett LM Studio programot Ryzen, illetve Radeon hardverekkel.
Ryzen processzor megléte esetén a helyzet eléggé egyszerű, ugyanis az LM Studio for Windows közvetlenül letölthető a hivatalos weboldalról, majd annak telepítése után ki kell választani egy LLM-et, azaz nagy nyelvi modellt, amivel el lehet kezdeni beszélgetni. Az AMD elsődlegesen a TheBloke/OpenHermes-2.5-Mistral-7B-GGUF vagy a TheBloke/Llama-2-7B-Chat-GGUF opciókat ajánlja a "Q4_K_M" kvantálási módszerrel, de lényegében bármivel lehet kísérletezgetni.
[+]
Radeon GPU-val annyiban más a helyzet, hogy az alábbi oldalon található, LM Studio – ROCm technical preview csomagot érdemes letölteni, ugyanis ROCm támogatással rendelkező hardver mellett elérhető a GPU-s feldolgozás – utóbbinak a szintjét érdemes "Max" paraméterre állítani.
Fontos kiemelni, hogy az LM Studio ténylegesen általános megoldás, nem kötődik szorosan az AMD-hez, utóbbi vállalat pusztán támogatja a projekt ROCm mellékszálát, hogy Radeon GPU-kon is futtathatók legyenek az egyes LLM-ek.
