Megéri 2026-ban saját gépen futtatni az AI-modelleket? Jobban járunk egy Mac Studio M5 Ultrával, egy RTX 3090-es PC-vel vagy egy felhőalapú AI-szolgáltatással? Ebben a videóban egy RTX 3090-es PC, az Apple Mac Studio M5 Ultra és a cloud AI megoldások költségét, sebességét, memóriaigényét és gyakorlati kompromisszumait hasonlítom össze.

Az elmúlt években rengeteget változott, hogy milyen hardver kell egy komolyabb LLM helyi futtatásához. Már nem feltétlenül csak az számít, hogy melyik gép a legerősebb: legalább ilyen fontos a memória mérete, a memória-sávszélesség, a prompt processing sebessége, a token generation, a modell mérete, a kontextusablak – és természetesen az egész rendszer ára.

A videóban azt próbálom körbejárni, hogy kinek és mikor van értelme saját AI-hardvert vásárolnia, illetve mikor lehet sokkal racionálisabb egyszerűen valamelyik felhőalapú szolgáltatást használni.

Az egyik oldalon ott van egy NVIDIA RTX 3090 24 GB VRAM-mal, amely még ma is kifejezetten érdekes kártya lokális AI-hoz. A másik oldalon az Apple megközelítése, például a Mac Studio M5 Ultra, ahol az egyesített memória miatt egészen más lehetőségek nyílnak nagy nyelvi modellek futtatására. És persze ott van a harmadik út is: egyáltalán nem veszünk drága hardvert, hanem API-t, ChatGPT-előfizetést vagy más cloud AI-szolgáltatást használunk.

A videóban megnézzük többek között:
- mennyibe kerülhet egy komolyabb lokális AI gép felépítése;
- mit ad egy RTX 3090 24 GB VRAM-ja LLM-ek futtatásakor;
- miért különleges az Apple Silicon unified memory architektúrája;
- milyen memória-konfigurációk érhetők el a Mac Studio esetében;
- hogyan viszonyul egymáshoz a M3 Ultra és az M5 Ultra LLM-es teljesítménye;
- mi a különbség a prompt processing és a token generation között;
- miért nem ugyanaz a gyors promptfeldolgozás és a gyors válaszgenerálás;
- milyen jelentősége van a memória-sávszélességnek nagy modelleknél;
- mennyi VRAM-ot foglalhat maga a modell, a KV cache, a CUDA/runtime és az egyéb komponensek;
- mi történik, ha nagy, például 80 000 tokenes kontextust használunk;
- hogyan férhet el egy Qwen 3.8 27B Q4 jellegű modell egy 24 GB-os RTX 3090-en;
- hogyan változik a memóriaigény a kvantálás és a kontextus méretének függvényében.

Külön foglalkozom azzal is, hogy a puszta hardveradatok sokszor félrevezetők. Egy LLM futtatásánál nemcsak az számít, hogy „hány GB memória van a gépben”. A modell súlyai mellett helyet kér a KV cache, a futtatókörnyezet, a compute buffer és több más komponens is. Emiatt egy papíron megfelelő méretű modell nem feltétlenül használható kényelmesen nagy kontextussal.

Könnyen lehet, hogy egy több millió forintos gép árát nagyon hosszú idő alatt költenénk el API-használatra vagy előfizetésekre.
A videóban ezért a ChatGPT előfizetési lehetőségeket is megnézzük:

És itt jutunk el a videó egyik legfontosabb kérdéséhez:
csak a pénzügyi megtérülést kell néznünk?
Nem feltétlenül.

A saját gépen futó AI mellett olyan szempontok is szólnak, amelyeket nehéz pusztán forintban vagy dollárban kifejezni.

🔒 Adatbiztonság és privát működés
A promptok, dokumentumok, képek és egyéb adatok helyben maradhatnak.

🖥️ Teljes kontroll
Te döntöd el, milyen modellt, milyen kvantálással, milyen kontextussal és milyen szoftverrel futtatsz.

🔓 Szabadság
Nincs feltétlenül szolgáltatói limit, modellcsere vagy API-változás.

⚙️ Kísérletezés és fejlesztés
Saját modellekkel, agentekkel, embeddingekkel, RAG-rendszerekkel és egyéb AI-projektekkel egészen más szabadságot ad egy lokális környezet.

☁️ A cloud viszont kényelmes
Nem kell hardvert vásárolni, gépet karbantartani, driverekkel foglalkozni vagy azon gondolkodni, hogy belefér-e még néhány gigabájt KV cache a VRAM-ba.

Ezért nincs mindenki számára egyetlen helyes megoldás.
A videó célja inkább az, hogy számokkal és konkrét példákkal mutassam meg a három megközelítés közötti különbséget:
RTX 3090 / saját PC → Mac Studio M5 Ultra → Cloud / AI-előfizetés
Így mindenki eldöntheti, hogy az ő felhasználásához melyik kompromisszum éri meg.

Fejezetek
00:00 – Saját AI gép vagy felhő?
01:00 – Mac Studio M5 Ultra: mennyibe kerül?
02:30 – PC, RTX 3090 és memória költsége
05:00 – Apple Silicon és az egyesített memória
06:00 – Prompt processing: M3 Ultra vs. M5 Ultra
08:00 – Token generation sebesség
09:00 – Valós LLM benchmarkok Macen
11:00 – Qwen 3.8 27B Q4 és a 24 GB VRAM
12:00 – Mit foglal el valójában a VRAM?
13:00 – Lokális AI vagy előfizetés?
14:00 – Xiaomi MiMo és új AI-modellek
16:00 – Artificial Analysis benchmarkok
17:00 – 80K kontextus memóriaigénye
20:00 – Modellek intelligenciája és költsége
22:00 – M3 Ultra / M5 Ultra sebességek
23:00 – ChatGPT Go, Plus és Pro
25:00 – Mikor éri meg a cloud?
27:00 – Biztonság, kontroll és szabadság
29:00 – Összegzés