- Lassan állítjuk a fát, és a hardverek is be vannak csomagolva
- Klasszikus kínai festmények ihlették a Colorful legfrissebb memóriáinak külsejét
- Ultrakompakt Key E SSD-vel jelentkezett a Silicon Power
- Mesterséges intelligenciára kihegyezett mini PC jött az ASUS műhelyéből
- ASUS blog: ExpertBook P5 notebook, a munkagép
Új hozzászólás Aktív témák
-
#66
Reggie0
félisten
Komplikato
#62
Reggie0
félisten
válasz
Komplikato
#62
üzenetére
Mondjuk az Orin-t meg nem probaltam, de penge kis fogyasztasu arm magot nem lattam az nvidiatol.
-
arn
félisten
Nv eseten azert eleg jo profitot termel nekik, illetve mindig egyfajta biztos pontnak hasznaljak (innen erkeztek, sokminden valtozott korulotte, de ez maradt), szvsz azert is probaljak meg mindig kiszolgalni ezt a piacot.
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
#63
arn
félisten
Komplikato
#62
arn
félisten
válasz
Komplikato
#62
üzenetére
Az nvt a konzumpiacon kb a pcgaming tartja, amugy teljesen a szerverek fele mozdultak el.
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
#62
Komplikato
veterán
pengwin
#61
Komplikato
veterán
Nagyobb modelleket most SE tud futtatni senki célhardver nélkül. Más tészta, hogy azokat szvsz NPU-val se fogja senki. Amúgy csak nekem fura, hogy a mobil szegmensbe nem áll bele az Nvidia, hanem partneren keresztül, aki állítólag a Mediatek lesz?
"Figyelj arra, aki keresi az igazságot és őrizkedj attól, aki hirdeti: megtalálta." - (André Gide)
-
pengwin
addikt
Igyekszem követni a témát, csak most kicsit azt érzem az NV marketingje elbeszélt a valóság mellett. Igen. a fejlesztéshez, tanításhoz/tréninghez kellenek a nagyon komoly erőforrások, de az NPU-k tudtommal nem ezt igyekeznek elősegíteni, hanem a modellek használatát a végfelhasználók részéről.
És nagyon csodálkoznék, ha helyi asszisztens futtatásához venne valaki dedikált hardvert - mert gyakorlatilag most erről beszél az NV.Üdv, pengwin
-
Abu85
HÁZIGAZDA
Ez teljesen normális, hiszen az operációs rendszernek nincs kontrollja a VGA memóriája felett, de a WDDM-ben van megosztott memória is, és ott már van kontroll. Csak ugye az nem sokat ér, mert a megosztott memória elérési ideje úgy 500-szor lassabb, mint a dedikált memóriáé. Emellett ez egy WDDM funkció. Az explicit API-k esetében bonyolultabb a helyzet, mert ott az program dönt arról, hogy hol helyezi el az allokációt, és ebbe az OS nem is szól bele. És a legtöbb AI-ra szabott program ma még úgy működik, hogy ha elfogy a VRAM, akkor nem is törődik a többi erőforrással, hanem dobja az out-of-memory üzenetet. Nyilván ennek van egyfajta logikája is, hiába a több memória, ha az elérése több száz nagyságrenddel lassabb. Az adatmásolások miatt sokszor ezt felesleges befogni, mert ha meg is teszed, akkor is végeredményben gyorsabb lesz, ha a processzor számolja az AI feladatot. Tehát igazából az extra memóriával csak sebességet buksz. Ennek van hasznossága mondjuk egy játékban, ahol azért jobban menedzselhetők az adatmásolások, de az AI feladatok annyira memóriaintenzívek, hogy a megosztott memória igazából többet árt, mint használ.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
JohnyX
tag
-
Abu85
HÁZIGAZDA
Bármi, amihez van elég memóriád lokálisan, illetve elég gyors, mátrixszorzást alkalmazó részegységed. A lényeg annyi, hogy ne a szerverinfrastruktúrát terheld olyan feladattal, ami lokálisan is lefuttatható. A szervert csak akkor terheld le, ha a feladat lokálisan, reális időn belül megvalósíthatatlan. Ezzel tehermentesíted az adatközpontokat, így nem kell annyira sokat építeni, amivel kisebb lesz a fenntartási költség, stb.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
haxiboy
veterán
válasz
Kristof93
#54
üzenetére
A videóban a demot egy laptopon csinálta Chuck...leszámítva azt a néhány bevágást amivel demonstrálta mit lehet kihozni egy multi-gpu rendszerből.
De érdekességképpen most kipróbáltam egy Raspberry Pi5 -ön és egész vállalható sebességgel fut még a llava is.
Szerintem elképzelni nem tudod mennyi pénzt tolnak bele a cégek a publikusan elérhető modellek tanításába, amik futtatásához jé! nem kell atomerőmű.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
paprobert
őstag
válasz
julius666
#55
üzenetére
Jujj, elnézést, az aszfalt textúra lecserélését(az esetek felében rosszabbra) nem említettem... az mindent megváltoztat...
(a kontrasztot közben felborítja, az autók maszatossá válnak, a fehéregyensúly ugrál az égen, és a fejlesztők büszkék arra, hogy csak ennyi az artifact)Kifejtenéd, hogy miért kellene hasra esni egy végeredményben gagyi GTA modtól? Mert ML alapú?
A látvány számít, és abban harmatgyenge. A HWköltség / látvány arány még rosszabb.Hogy lesz ez nagyságrendekkel jobb?
A technológia fejlődésére példaként itt a Tesla full self driving, ami már 10 éve "kész van" és a tőled idézve nem kell hozzá sok fantázia hogy tényleg jól működjön.
(Ezzel szemben a pályás sáv- távolságtartáson kívül a legtöbb ember kikapcsolja, mert 30 kilométerenként vagy idegesítő hülyeségeket csinál, vagy meg akarja ölni a sofőrt.)Ugyancsak nem kellett hozzá sok fantázia elképzelni, ahogy munkanélkülivé válnak a fordítók a Google Translate nagy ML funkciófrissítésekor ~10 éve, ami nagyon impresszív volt megjelenésekor.
A fordítók köszönik, jól vannak.Sajnos túl könnyű megelőlegezni a korrekt működést, és youtube videókon csámcsomgva várni a csodát.
[ Szerkesztve ]
640 KB mindenre elég. - Steve Jobs
-
julius666
addikt
válasz
paprobert
#52
üzenetére
Csak nézd meg alaposan, hogy mit adott a képhez. Felturbózott fények az autókon, és zöldesszürkés közép-európai tonemapping a sárgás kaliforniai helyett.
Ja értem, te szemre ennyi változást vettél észre a rojtosra tömörített yt videón az eredeti/AI enhanced változatok között. A gyakorlatban nagyon nem erről van szó, teljesen átgyúrja a képet az AI feldolgozó. Ha próbálgattál már mondjuk stable diffusiont controlnettel, nagyon leegyszerűsítve valami olyasmiről van szó. A videóban elmagyarázzák részletesen a feldolgozás lépéseit, ezek szerint nem nézted végig, csak az előtte/utána részeket láttad. Őszintén szólva nem sok értelmét látom a vita folytatásának. Láthatóan nem igazán vagy képben, de még csak végig se nézted a videót, úgy állítasz róla mindenfélét. Komolytalan ez így.
-
-
paprobert
őstag
válasz
julius666
#41
üzenetére
Na igen, egy mondatos beböfögésből próbáljuk tippelgetni hogy mire gondolt a szerző. Én mindenesetre leírtam, hogy mit ne várjon.
"Ezt mégis honnan veszed?"
Csak nézd meg alaposan, hogy mit adott a képhez. Felturbózott fények az autókon, és zöldesszürkés közép-európai tonemapping a sárgás kaliforniai helyett.
Abba nem akarok belemenni, hogy ez-e a leginkább hardver- és fejlesztőidő hatékony megoldás a kívánt látvány elérésére, de ez szerintem túl messzire vezet. De érdekes demó, az biztos."Full hamis a dilemma amit felvázolsz."
Szerintem ugyanarról beszélünk. Ahogyan felvázoltad, ugyannak az éremnek a két oldala.
Csak te a sebességnyerést kihasználva extra raszter minőség hozzáadásával képzelted el. Én pedig az eredeti raszter minőségre felhúzott AI utómunka kiterjesztésével.
Mindkettő járható út, de az utóbbira még nincs kézzel fogható implementeció.640 KB mindenre elég. - Steve Jobs
-
Kristof93
senior tag
'Senki' sem vesz dedikált hang vagy háló kártyát. Itt a fórumon kívül a dedikált gpu is elég réteg termék. Messze többen játszanak igp-n, konzolon, telefonon és még ennél is többen nem játszanak egyáltalán. Ezért kell a cpu-ba integrálni az ai-t, a Microsoftnak muszáj mindenkit megcélozni, nem csak a felhasználók töredékét. A strix az év vége felé még jobban le fogja szűkíteni ezt a piacot, főleg ha sikerül belőni a 4060m köré.
-
haxiboy
veterán
De nincs ezzel semmi gond, csak legyen egy jól lefektetett szabvány amit követnek a gyártók. A gyártóspecifikus baromságokat kéne elhagyni, csak úgy nehezebb versenyezni a konkurenciával ha mindenki ugyanazt árulja.
Ebből a szempontból tisztelem az AMD-t, a megoldásaik univerzálisak.
Cuda szerencsére kezd kiesni a képből hála a ZLUDA-nak, ami fut AMD-n is.
[ Szerkesztve ]
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
válasz
Kristof93
#45
üzenetére
"Senki nem fog ai gyorsítót venni" ?
Ez pont olyan kijelentés minthogy GPU-t nem veszünk mert van a prociba integrálva, vagy hangkártyát/hálókártyát mert van az alaplapon.Apple az A11 óta pakolja a Neural Engine-t hardware-be. Észre sem fogjuk venni, néhány generáció váltás, és az AI ready hardware-kben ott lesz.
Ahogy most az a menő hogy a videókártyádon van egy m.2 pcie csati az SSD-knek, miért ne jöhetne ilyen formátumban AI accelerator a jövőben vagy elhagyva a csatlakozót, rádrótozva a kártyára/alaplapra.
A Microsoft egy halom pénzt öntött az OpenAI-ba. Előbb utóbb követelménnyé fogják tenni az AI gyorsítót a copilot-hoz. Olcsóbb az usernél futtatni mint a datacenterben.
[ Szerkesztve ]
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
Kristof93
senior tag
A koherens memória a konzolokban (és a cikkben szereplő apu-kban) egy előny, nem hátrány. A vram-ban lévő adatok sokszor duplikálva vannak a rendszer memóriában. A Windows 11 egyébként is szépen ki szokta takarítani a memóriát ha szükség van rá, 2-3gb elég neki.
Ahogy megjelent a ps4, elég hamar az lett a standard játékfejlesztésben.
Nyilvánvaló, hogy szinte senki sem fog dedikált ai gyorsítót venni, és laptopba tenni még egy nagy processzort dedikált memóriával még ennél is kevésbé kivitelezhető.
-
arn
félisten
De nem tudsz egy 7b meg egy 1760b modellt (gpt4) hasonlo szinten kezelni. Es a nyelvi modellek kepessegei exponencialisan nonek a parameterek szamaval. En probaltam korabban localban futo 7b modellt dinamikusan parameterezni informalis adatok elemzesevel, de nagyon mas kavehaz.
[ Szerkesztve ]
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
#42
Komplikato
veterán
arn
#19
Komplikato
veterán
Van brutális modell, ami meglepően jó, csak nem mindenkinek van a gépében 300GB+ vram és 1TB+ memória. De elfutni elfut lokálisan.
Saját betanításhoz sok mindenre elég lenne egy 7B vagy 13B modell is, csak betanításhoz még több vram kell. "Figyelj arra, aki keresi az igazságot és őrizkedj attól, aki hirdeti: megtalálta." - (André Gide)
-
julius666
addikt
válasz
paprobert
#39
üzenetére
Ha elmaszatoljuk az "AI-t használnak majd a grafikához" kifejezés jelentését, akkor könnyen eljuthatunk oda, hogy igazából már 15 éve AI-t használunk a HW Tessellation bemutatása óta, csak nem vettük észre. Ne tegyük.
A "semmi AI" és a "beírod a promptba, hogy akkor most FPS-t akarok játszani, majd elindul egy full egyedi generálású fotorealisztikus játék" közt elég sok szint van. Megkockáztatom te se az utóbbiról beszéltél. Ha már a definíción akarsz kötekedni, kiköthetnéd konkrétan hol húzódik nálad a határ, enélkül felesleges erről vitatkoznunk.
Ha a pipeline utolsó pár lépése már full AI alapú, az nálam már bőven megfelel az "AI-t használnak majd a grafikához" kitételnek. (Ugye kizárólagosságot senki nem írt!!!)
A példád nem real time
3-15fps volt, 2 éve. Itt egy kutatásról beszélünk. Optimalizált kóddal, következő generációs vason nem látnám miért ne tudna 60 FPS-sel futni egy ilyen.Megjegyzem igazán minőségi AI alapú upscale/frame generation se volt realtime pár éve még, ma meg...
csak fresnel pingálás és tonemapping réteg szint.
Ezt mégis honnan veszed?Én is már várom 1-2 éve, hogy a DLSS mikor válik sebességnyerő funkcióból egy extra grafikai szintté (a ray reconstruction már majdnem ez), de még nincs itt, és nem tudjuk mennyire lesz fajsúlyos.
Full hamis a dilemma amit felvázolsz. A sebességnyerés és a minőség javítás egy és ugyanaz a feladat, csak az érem két oldala. Ha egységnyi hardveren teljesítményt tudsz felszabadítani egy részterület optimalizációjával, akkor több teljesítmény marad egyéb területeken a minőségjavításra. DLSS path tracing jó példa. Ha bekapcsolod, egyazon vason DLSS nélküli variánsnál jelentősen jobb grafikai szintet érhetsz el.
[ Szerkesztve ]
-
Abu85
HÁZIGAZDA
Sok paraméteres neuronháló futtatását gyorsítja. Konkrétan gyorsabban hajtja végre a mátrixszorzást, ami a vezető műveletnek számít.
Ugyanezt csinálják egyébként az online szolgáltatások is. A probléma ott van, hogy ha ennyire növekszik az igény erre a munkamenetre, akkor muszáj valamiféle hibrid irányba elvinni, mert nem lehet elég szervert kiépíteni mindenkinek. Tehát optimális az lenne, ha némelyik folyamat lokálisan futna, némelyik pedig távolról.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
paprobert
őstag
válasz
julius666
#22
üzenetére
Ha elmaszatoljuk az "AI-t használnak majd a grafikához" kifejezés jelentését, akkor könnyen eljuthatunk oda, hogy igazából már 15 éve AI-t használunk a HW Tessellation bemutatása óta, csak nem vettük észre. Ne tegyük.
A példád nem real time, és kb. csak fresnel pingálás és tonemapping réteg szint. Láttam pár éve, és érdekes volt. Ez 10%-nyi hozzáadott grafika, néhol regresszióval. Nem full, 0-ról 100%-ra húzott, mátrixműveletes grafikai pipeline.
"buta, 2000-es évekbeli szintet megütő kimenetet, amit aztán az AI felhúz fotorealisztikusra"
Ez, a kolléga és az általad felvetett állapot nem a következő generációban jön el. És főleg nem szánalmas, néhány tíz-száz TOPS teljesítmény mellett.
Évtizedek, és több tízezerszeres teljesítménytöbblet kell majd. Úgyhogy be lehet fejezni a csodavárást holnaputánra.PC-n elég jól lehet követni, hogy hogyan áll a csúcs grafika, és mit ad hozzá az AI a látványhoz.
Én is már várom 1-2 éve, hogy a DLSS mikor válik sebességnyerő funkcióból egy extra grafikai szintté (a ray reconstruction már majdnem ez), de még nincs itt, és nem tudjuk mennyire lesz fajsúlyos.[ Szerkesztve ]
640 KB mindenre elég. - Steve Jobs
-
Busterftw
nagyúr
-
arn
félisten
Az apple itt is jol csinalta, meg a korosodo m1en is fut 16g rammal egy 7b modell, metalon keresztul. Erre meg pc oldalrol mindenfele csodahw kell, radasul az m3/m4ben figyelnek az aira jobban.
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
haxiboy
veterán
válasz
Kristof93
#33
üzenetére
Ps4 és Xbox one-nál -és az új konzolok esetében is- koherens memóriáról beszélünk. Kár összehasonlítani egy PC-vel.
Amikor a Ps4 megjelent a GTX Titan és Titan Z volt az nvidia legizmosabb kártyája, 6 illetve 2x6GB gpu-val.
A "standard" inkább a 2GB-s kártyák voltak akkoriban. Quantizált modelleket, alacsonyabb precizitással már egy 4GB Vram-mal rendelkező GPU-n is lehet futtatni.
Valószínű, ha szeretné a gyors elterjedését a Microsoft az otthoni offline AI-nak, akkor olyan modellt fog szállítani ami.
Az ASIC vagy FPGA alapú gyorsítók is hamarosan elérhető áron lesznek elérhetők. Mint pl a pici modellekhez szánt Coral.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
Kristof93
senior tag
válasz
Busterftw
#32
üzenetére
Te 2000 eurós, 400 wattos dedikált gpu-val akarod versenyeztetni a laptop apu-t?? Itt nem a 2000 eurós réteg termékről van szó. Ezek bele sem kerültek a laptopokba. Elég nyilvánvaló, hogy az nvidia sem úgy képzelte el, a 100 milliós felhasználó táborral amit emlegetnek. A legtöbb használatban lévő nvidia kártya 8gb körül van, ez édes kevés. Ez volt a standard 10 évvel ezelőtt amikor jött a ps4 és xbox one...
-
Abu85
HÁZIGAZDA
[link] - írtunk korábban róla, azt hittem olvastad.
A rendszermemória másképp van kezelve, mint a VRAM. A VRAM felett az operációs rendszernek csak nagyon korlátozottan van felügyelete. Nincs is közvetlen hozzáférése a modernebb API-kkal, vagyis alapvetően a program határozza meg, hogy a VRAM hogyan van menedzselve. Ha rosszul, akkor az operációs rendszer csak széttárja a karját, mert nem tudja kijavítani a programkód jellegzetes hibáit a modernebb API-k működése miatti GPU kernel driver hiányában. Ezért van az, hogy amikor a rendszermemória betelik, akkor még simán működőképes marad a gép, vagyis nem fagy le, csak belassul, míg ha a VRAM betelik, akkor jön az out-of-memory üzenet, és leáll a program.
A legnagyobb gond itt az, hogy az operációs rendszernek közvetlen kontrollja csak a rendszermemória felett van, így a VRAM csak egy leválasztott erőforrás. És mivel leválasztott, amit egy csomó OS komponens nem is lát, így nem is tud kárt okozni, ha betelik, tehát a Microsoft sem nagyon töri magát azon, hogy megoldja ezt a problémát. Volt régen egy nagy terv ennek a megoldására a WDDM 3.0-hoz, de sosem valósult meg. Nem tudom, hogy a Microsoft fejleszti-e még, vagy eltették a fiók mélyére.
Egyébként senki sem írta, hogy az NVIDIA nem ír igazat a TOPS-ra nézve, csak elhallgatják a memória kérdését. Nyilván jó okkal. Az out-of-memory hibakóddal történő programösszeomlások a Microsoft szerint sem tekinthetők prémium élménynek. Ez a vezető oka annak, hogy a Microsoft is főleg az NPU-kra építi az AI PC-ket. Ha a GPU-k jók lennének, akkor tennének egy rakással az NPU-kra, mert eleve van egy bazinagy kiépített userbase a programoknak. De nem jók, ők ki tudják ezt próbálni a gyakorlatban.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Moby
addikt
Magyarán nincs semmilyen forrás, megy a szokásos bullshitelés, ami egy újabb félresikerült nvidia bashing kapcsán keletkezett.
De akkor megkérdezem újra: mennyi szabad memória marad jellemzően a windows mellett 16 giga sysramból, és az hogyan magyarázza, hogy vramból IS 16GB kell?
Egyszerű kérdés, kell legyen rá nem féloldalas, kisiskolás szintű válasznak is. -
Abu85
HÁZIGAZDA
Tök egyszerű a probléma. Ha nem fér bele a modell a VRAM-ba, akkor nem tud működni. A Microsoft a saját rendszereihez olyan modelleket készít, ami 16 GB memóriát igényel. Ezért kérték a gyártókat arra, hogy ennyi memória legyen az AI PC-kben. Ha a GPU-n fut a modell, ami lehetséges a DirectML-lel, akkor a VRAM-ból kell 16 GB. A Microsoft alapvetően egyiket sem akadályozza, 40 TOPS teljesítményt kér minimum. Teljesen mindegy, hogy integrált vagy GPU-val, esetleg NPU-val hozod, és legyen a hardver mellett 16 GB fedélzeti memória. Ezek a belépő követelmények.
Természetesen a memória esetében fontos, hogy ha más is fut, akkor több memória kell vagy ajánlott. Tehát ha fut egy játék a GPU-n, és az elvisz 8 GB-ot, akkor még kell 16 GB memória a modellnek, tehát 24 GB-os GPU kell. Az NPU esetén annyival kedvezőbb a helyzet, hogy ott a rendszer fel van készítve arra, hogy esetleg fut más is az AI feladat mellett, tehát nem fog a GPU-khoz hasonlóan out-of-memory hibaüzenet jönni, hanem csak lassabb lesz az AI feladat feldolgozása. Jelentősen lassabb, és ezért nem ajánlja ezt a Microsoft. De technikailag a programfuttatás NPU-val garantált, ellentétben a dedikált GPU-kkal, csak nem lesz nagy élmény a memória szűkössége miatt.
Alternatív lehetőségként ott vannak a szűk memóriára szabott modellek, de már kiderült, hogy ilyet a Microsoft nem fog kínálni, egyszerűen túl sok a limitáció velük, így inkább 16 GB-ban húzták meg a belépőt. Mellesleg ez egyáltalán nem sok, a memória kifejezetten olcsó, és az AI PC-kbe a gyártók lazán be tudnak dobni 16 GB RAM-ot. Valószínűleg jellemző lesz a 32 GB is, hogy izmozzanak, és nem itt fog elszállni egy notebook ára.
#19 arn : Ne csak a mostani korlátozott dolgokban gondolkodj. Ott van a hibrid feldolgozás lehetősége is. Ezek azért nem reális irányok most, mert nincs meg a hardver, de az NPU-kkal meglesz. Az AI PC-kben lesz kellő tempó és kellő memória is. A mostani gépekben csak a TOPS van meg, de a memória nincs ott, ahol kellene.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
haxiboy
veterán
A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
arn
félisten
Ez az egesz szvsz akkor lesz erdekesebb, ha egy mobilszintu hwnek is onallo elete lesz ai teren, akar ugy, hogy sose kotod netre. Tehat minden egyes hw onallo “szemelykent” fog viselkedni, ha elkezded hasznalni, felepiti a sajat ai szemelyiseget a hasznalati tapasztalatok alapjan az elore telepitett modellekkel.
De ehhez en azt latom, hogy a modelleknek is fejlodni kell, mert a hwek nem fognak olyan utemben fejlodni, de elobb utobb a ket fejlodesi pont talalkozni fog.
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
Kristof93
senior tag
Ha nem sajnálta volna ki a vramot az utolsó 3 generációból az nvidia, akkor talán még igazuk is lenne, de nem ez történt. A 3080, előző generációs felső kategória, nem tud stable diffusion-t helyben futtatni értelmesen, míg egy ilyen npu (+ az igp, amit nvidia valamiért kifelejtett...) jól el van 16-32gb rammal.
-
haxiboy
veterán
Jelenleg ezen dolgozik mindenki:
Whisper, Piper, Fooocus (Stable Diffusion modellek), LLama stb.Ami néhány éve még álom volt, majd megjelent cloudban, már elérhető otthon is. Bár valóban érdemes őket megtámogatni. Nem is a modellek futtatásával van jelenleg már a gond. Az új modellek készítése/fine tuneolása még mindig hatalmas erőforrást igényel.
"Így van! Amit, viszont el tudok képzelni, mondjuk 10 éven belül, hogy a nem fő NPC-k, AI generált válaszokat adnak a játékos viselkedése alapján."
https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs
Lehet vele játszani
Bár ez pont GPT4, ha elérünk erőforrásban oda hogy nem horror összegekbe kerül feltanítani egy modellt...
Jó eséllyel ehhez nem fog kelleni 10 év. Ha valaki 5 évvel ezelőtt azt mondja nekem, hogy lesznek speciális AI modellek amik on-the-fly képesek nekem kódot írni, kontextus alapján, nagy valószínűséggel kitalálni hogy mit szeretnék csinálni, és/vagy specifikáció alapján kódot generálni, kiröhögöm. Most pedig napi szinten használom a munkámhoz.Egyébként meg az olyan nagy cégek mint a csúnya rossz Meta, sőt Microsoft, Apple és még sorolhatnám, tesznek közzé publikus modelleket és/vagy toolokat.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
julius666
addikt
válasz
paprobert
#12
üzenetére
Óriási bullshit. Évtizedekre vagyunk ettől.
Mármint mitől? Egyáltalán nem lepne meg, ha a közeljövőben (1-2 éven belül) az nVidia kijönne valami hasonlóval:
https://www.youtube.com/watch?v=P1IcaBn3ej0A(z egyébként már 2 éves!) videóban normál beállítások melletti raszteres render outputot javítottak fel, de nem kell hozzá sok fantázia, hogy valami hasonlót lehessen csinálni lebutított renderre is. A hagyományos raszteres pipelineból lecserélhető lenne csomó utólagos gagyi effekt ilyen AI alapú képtranszformációval. A játék motorja lerenderel egy buta, 2000-es évekbeli szintet megütő kimenetet, amit aztán az AI felhúz fotorealisztikusra, a videóban látottakhoz hasonlóan.
Annyira nem sci-fi amiről beszélünk, hogy konkrétan a DLSS 3.5 path tracing módja is valami hasonlót csinál. Megkap a játéktól egy marha zajos, gagyi path tracing kimenetet, a textúrákat, meg pár metaadatot amit egységes kimenetté gyúr, felskálázza, majd kitol egy olyan képet, ami nem 100%-ig tökéletes, de 95%-ban túlzás nélkül az. Olyan minőséget képvisel, amit a szakmabeliek még pár éve évtizedekkel későbbre vártak volna.
Szerintem ez már annyira a jelen/közeljövő, hogy nem ahhoz kell igazán fantázia, hogy mégis mit lehetne kezdeni az AI-val játékoknál, hanem érveket találni ahhoz, hogy miért nem lesz mégse használva akár már a közeljövőben. Utóbbi elég nehéz szvsz az elmúlt 2-3 év fejlődését látva.
[ Szerkesztve ]
-
arn
félisten
válasz
Busterftw
#20
üzenetére
Attol nem fog nagyobb modell futni rajta, mert nincs eleg ram, a szamitasi kapacitas mellekes, es pl egy 10 wattos apple m1en is elfut egy ilyen modell. Komolyan nem latom hol jon be a kepbe.
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
arn
félisten
válasz
Busterftw
#18
üzenetére
ok, csak egy local gepen jo ha egy 7b modell elfut... ez fenyevekre van a gpt4tol, vagy hasonlotol. amellett, hogy zabalja az eroforrast.
[ Szerkesztve ]
facebook.com/mylittleretrocomputerworld | youtube.com/mylittleretrocomputerworld | instagram.com/mylittleretrocomputerworld
-
Kolbi_30
őstag
válasz
Busterftw
#14
üzenetére
Az sose lesz, azzal dolgozni kell. Kapsz fancy grafikát, sablon történettel, mar ha lesz egyáltalán történet..meg 20-30 euróért DLC ket, skineket.a 70-80 eurós bughalmazhoz. 15-20 évente meg kijön egy játék amire mindenkinek feláll, mert valamivel jobb mint a tömeg szarok..
You want some birth control, you can smoke a cigarette.
-
tibaimp
nagyúr
-
Alaaf Pi
senior tag
Csak épp egyetlen "AI" fejlesztőnek sem érdeke a lokál üzem: nem fér hozzá az ottani tudáshoz, így a többi klienst nem tudja ugyanúgy fejleszteni, mivel nem látja mi zajlik, a patchelés, update, továbbfejlesztés is körülményesebb. Másrészt pár éve mindenki mindent cloudban akar megoldani, majd pont az "AI"-t akarná lokálisan?
-
hapakj
senior tag
Én meg épp azt látom, hogy az lenne a cél, hogy minnél több mindent letolni lokálba. Szerintem az infrastruktúra nem olcsó a cégeknek ehhez, s nehezen fognak majd tudni pénzt kérni érte. Főleg ahogy nézem az Apple valszeg meg se fogja lépni a serveren való futtatást. Nekik a iPhone 15 Pro-ba már 37 TOPS-szos NPU van. Átemelni ezt az Mx szériába sem lesz nagy probléma.
-
pengwin
addikt
Nagyon csodálkoznék, ha ennek az egész AI-nak hazudott őrületnek az lenne a vége, hogy lokálisan fogunk valami önálló megoldást futtatni.
Számomra sokkal valószínűbbnek tűnik, hogy az "AI" főleg felhős szolgáltatásokon keresztül lesz elérhető, az ilyen lokális hardverek meg leginkább edge computing szerepkörben lesznek hasznosítva. Erre meg elég lesz az NPU-k teljesítménye is. A nagy cégek eddigi és jelenlegi iránya alapján legalábbis ez tűnik reálisabbnak.
Üdv, pengwin
-
Moby
addikt
"Mivel a memória a dedikált GPU tekintetében is sarkalatos, így ott is 16 GB-nyi VRAM szükséges. "
Erre azért valami forrás nem ártana, mert ez elsőre is igen nagy ökörségnek hangzik, nemkülönben másodikra Tehát az NPU mellé elég a 16GB a rendszernek, és minden másnak, de ugyanennyi kell a VRAM-ból is...
![;]](http://cdn.rios.hu/dl/s/v1.gif)
)Új hozzászólás Aktív témák
Hirdetés
ph Megkezdődött az NPU-k elleni hadjárat, de egy fontos részletet nem említ a cég.
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Axon Labs Kft.
Város: Budapest