Új hozzászólás Aktív témák
-
ddekany
veterán
A következő token legeneráláshoz kell, hogy az előző már a kimenet végén legyen, szóval nem tudom miféle batch-eléssel úsznák meg, hogy az egész modelt be kelljen darabokban tölteni újra és újra a RAM-ba (mivel az egész egyben nem fér bele) tokenenként.
Persze az a mostani LLM-ek működési elvére vonatkozik, de az MS is nyilván csak azzal számol.
-
moleculez
veterán
Mondjuk ezen is el kell gondolkodni, mekkora komplexitású rendszer kell on-device. Szvsz egy egészséges balance kellene a cloud vs on-device vonalon, nem kell hogy mindent tudjon zsebben, de pl a napi használatot megkönnyítő tudásanyag besűríthető, aztán ha olyan topic/probléma van akkor megy cloud modelnek.
-
ddekany
veterán
A Gemini Nano modellek futnak rajta, amiből a nagyobb is csak 3,25 milliárd paraméteres, és nem arra vannak, hogy kötetlenül beszélgess velük, mint a ChatGPT-vel (amiből 4-es sokszáz milliárd paraméteres lehetett mikor kijött). Plusz nem kell tisztán CPU-n futnia, hiszen van NPU (TPU) abban a SoC-ban, meg persze GPU-is.
-
moleculez
veterán
Pont tegnap néztem, hogy mi a helyzet a local llm futtatással. Itt egy példa, kimaxolt M3 max 128GB RAM-mal .+ Apple MLX framework (szóval “optimalizáva” a platformra). Hát, maradjunk annyiban nem mostanában fogunk full ChatGPT-t futtatni localba’
-
LordX
veterán
16 GB bőven elég ha a háttértárad elég gyors, hogy betöltse a következő rétegek súlyait miközben az első rétegek mátrixait szorozgatja a CPU, GPU, AI gyorsitó stb. A GPT3 rétegei kb. 1.8 B paraméter per réteg (sőt.. ez csak 1 transformer, ami önmagában több matmul), szóval 8 GB RAM is bőven elég.
Ha meg dedikált GPU-n számolod, amiben van DirectStorage, akkor meg konkrétan nulla főmemória kell a gépebe hozzá.
-
ddekany
veterán
Ha valaki azt hitte volna helyben fog valami Bing Chat szerűséget (vagy inkább jobbat) futtatni... GPT-4 az sok száz GB lehet. Bár sokat fejlődtek a szükséges paraméterek számának csökkentése terén azóta, de azért a 16 GB az továbbra is bőven kevés ilyesmire, és persze még másnak is kéne RAM. Mondjuk az vicces lenne, hogy 128 GB RAM a követelmény (az már reális lehet), de ezt szinte mind a Copilot fogja.
-
#53
janos666
nagyúr
secretgarden
#50
janos666
nagyúr
válasz
secretgarden
#50
üzenetére
8GB RAM és 256Gb SSD? Ilyen notit vettem 2018-ban, pedig már akkor keveselltem, bár amire én használom, arra máig elég (inkább az Ryzen 2500U egyszálas CPU teljesítmény a fájóbb, mint ezek).
-
#52
moleculez
veterán
secretgarden
#50
moleculez
veterán
válasz
secretgarden
#50
üzenetére
W12-vel igen, de szerintem nem lesz in-device AI, hanem cloud only.
Ami azt illeti, nagyon jól hangzik minden a promókon, meg ideális világban ideális adatokkal, amíg a való világgal nem szembesül
Mondjuk Excelre a legritkább esetben sem engedünk 1M sort, de amúgy kevesebb se ment neki, érdemes végignézni
De amúgy maga a koncepció tetszik, tiszta black mirror, csak kell neki még idő míg kiforrja magát.
De valahol el kell kezdeni.Nah megyek vissza Pythonba, simogatni Pandas-t meg matplotlibet és társait. Az teszi a dolgát🤷🏼♂️
-
#51
Busterftw
nagyúr
secretgarden
#50
Busterftw
nagyúr
válasz
secretgarden
#50
üzenetére
Copilot nem egyenlő Windows 12-vel, miért ne lenne kompatibilis?
-
#50
secretgarden
aktív tag
secretgarden
aktív tag
Ebben az a vicces, hogy nalunk az atszamolva 600,000 forintos Micrrosoft Surface Pro-ba is csak 8GB tesz maga a Microsoft... Akkor ez a jelenleg is kaphato "laptop" nem lesz kompatibilis a Win12-vel? Ebbol botrany lesz... https://www.currys.co.uk/products/microsoft-13-surface-pro-9-surface-pro-signature-type-cover-and-slim-pen-2-bundle-intel-core-i5-256-gb-ssd-platinum-10249819.html
-
#49
PTM
aktív tag
Armagedown
#47
PTM
aktív tag
válasz
Armagedown
#47
üzenetére
A trend akkor is csökkenő, csak kialakult/t benne egy ciklikusság. Ez pl. RAM-oknál is megvan talán 20 éve is.
-
#48
Reggie0
félisten
Armagedown
#47
Reggie0
félisten
válasz
Armagedown
#47
üzenetére
Azert a 6-8 eves csokkenest, amirol szo volt, ezzel az egy manoverrel meg nem kompenzaltak ki.
-
#47
Armagedown
őstag
Reggie0
#46
Armagedown
őstag
Erről már csak múlt időben lehet beszélni, a Samsung visszafogta a termelést, hogy emelkedjenek az árak, már olyan alacsonyak lettek az árak, hogy veszteséget termeltek a flashmemória gyártók.
Az ssd-k árai emelkedni is kezdtek, ha figyeled az árakat, te is láthatod, pl a Crucial MX500 ára is emelkedett -
#46
Reggie0
félisten
Geri Bátyó
#45
Reggie0
félisten
válasz
Geri Bátyó
#45
üzenetére
Folyamatosan egyre olcsobb a NAND.
-
#45
Geri Bátyó
addikt
dabadab
#14
Nem én találtam ki, hogy AI-nek hívjuk és azt sem én találtam ki, hogy valami gyár az AI vezérelt robotok miatt rúgott ki embereket.
"Nyilván olcsóbb lesz a termék is, ez nagyjából elkerülhetetlen."
Hányszor olvastad az elmúlt 6-8 évben, hogy "a NAND lapkák előállítása emiatt 20%-al olcsóbb lesz, mint az előző generáció" ? Ha ezeknek az olcsósításoknak csak a felét megkapja a végfelhasználói piac, most felébe-harmadába kerülnének az SSD-k. -
#42
tasiadam
veterán
Armagedown
#2
tasiadam
veterán
válasz
Armagedown
#2
üzenetére
En napi szinten hasznalom a binget, de neha haszontalan. Abban bizom, ha mar bekoltozik az edgebol a rendszerbe a copilot, hasznalhatobba valik munkaban, es akkor teljesen jo lesz. Csak addig kene allni fellabon, amig lesz AI kepes CPU-m.
-
#38
Tesztelo.hu
senior tag
Armagedown
#2
Tesztelo.hu
senior tag
válasz
Armagedown
#2
üzenetére
És "640 kB mindenkinek elég lesz". (Ha már memóriaméret...)
-
-
wjbhbdux
veterán
Windows Registry Editor Version 5.00
; Disable Copilot button on taskbar
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced]
"ShowCopilotButton"=dword:00000000
; Disable Copilot service for current user
[HKEY_CURRENT_USER\Software\Policies\Microsoft\Windows\WindowsCopilot]
"TurnOffWindowsCopilot"=dword:00000001
; Disable Copilot service for all users
[HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\WindowsCopilot]
"TurnOffWindowsCopilot"=dword:00000001 -
dabadab
titán
Nem LLM alapu de van
Akkor meg már megint ott tartunk, hogy kb. mindent AI-nak nevezünk.
gugli most jelentette be az elso llm alapu vezerlest robotokhozErről beszélek. Most vannak ezek valamilyen fejlesztési fázisban, az nagyon messze van attól, hogy konkrét termék legyen belőle, ami kikerül ügyfelekhez, akik használják és a próbaüzem tapasztalatai alapján eljutnak oda, hogy emiatt embereket bocsássanak el.
-
#23
PTM
aktív tag
Armagedown
#2
PTM
aktív tag
válasz
Armagedown
#2
üzenetére
Valószínűleg lecseng, de nem úgy hogy eltűnik, hanem konszolidálódik és beépül a mindennapokba. Mint az M2M/IoT, big data vagy cloud. Aztán jön megint egy következő technológia.
-
#22
Geller72
veterán
Armagedown
#2
Geller72
veterán
válasz
Armagedown
#2
üzenetére
Óriásit tévedsz..
-
#14
dabadab
titán
Geri Bátyó
#13
dabadab
titán
válasz
Geri Bátyó
#13
üzenetére
Már most hallani, hogy AI vezérelt robotok miatt rugdosnak ki embereket, mert az gyorsabb és olcsóbb
Ez mondjuk pont hülyeség, nincsenek AI által vezérelt robotok (sőt, igazán AI se, de most csináljunk úgy, hogy az LLM-eket nevezzük AI-nek).
Mármint a gyártónak olcsóbb, mert a termék nem lesz az
Nyilván olcsóbb lesz a termék is, ez nagyjából elkerülhetetlen.
-
#13
Geri Bátyó
addikt
Armagedown
#6
válasz
Armagedown
#6
üzenetére
Kiragadnék egy részt, ami tényleg fontos: "nagy hatása van a gazdaságra, a munkaerőpiacra és a társadalomra"
Pontosan. Már most hallani, hogy AI vezérelt robotok miatt rugdosnak ki embereket, mert az gyorsabb és olcsóbb. Mármint a gyártónak olcsóbb, mert a termék nem lesz az. Aztán persze majd megpróbálják eladni azoknak az embereknek, akiket az AI miatt rugdostak ki, aki persze nem fogja megvenni, tehát csökkentik a termelést és emelik az árakat, hogy aztán már az se tudja megvenni, akinek van munkája. Röhöghettek, de más most is ez megy. -
#12
Reggie0
félisten
Armagedown
#2
Reggie0
félisten
válasz
Armagedown
#2
üzenetére
Sokkal inkabb majd azok fognak rabszolgaberert dolgozni, akik nem ertik mire es miert jo.
-
Green69
csendes tag
Kezdődik...
A MS kezdte az AI-hoz "igazítani" a Windowst --->> a processzorgyártók elkezdték beépíteni a prociba az AI-t, hogy a Windows használhassa --->> az MS igazítja az AI-s Windowshoz a hardver köveztelményeket --->? kötelező lesz az AI chip a windowshoz? --->> új hardver, rá új (előfizetéses?) windows (gondolom előfizetéses "extra" funkciókkal)... -
#57018880
törölt tag
Inkább azt kérdeztem meg miért nem sikerült teret nyernie a 3D tévének, és elég jókat sorolt fel. röviden: limitált tartalom, drága, kényelmetlen, sztenderdek versenye a piacon, panaszok az egészségre stb. -- Ezek nagy része szerintem nincs átfedésben az AI chattel.
Éppenséggel pont egyre kényelmesebb lesz majd AI-t használni, ez is igazából az MS célja. Drága mondjuk jah relatíve, illetve aki nem info területen dolgozik annak kb csak "szórakozás" vagy nem tudom
.Sajnos már most látszik, hogy nem csak kvóta limites lesz.. leginkább ez a taszító benne szerintem, hogy mindenki egyenlő, de megint lesz egyenlőbb, az AI-val éppen aki több pénzt dobál a monitornak.
-
#9
Ribi
nagyúr
Armagedown
#6
Ribi
nagyúr
válasz
Armagedown
#6
üzenetére
Sajnos ez nem így lesz. Big data feldolgozásban egyre nagyobb szerepe lesz, pont az egyre több és több adat miatt. Csak hát ezt is a nagy cégek tudják majd kihasználni és minél inkább erre támaszkodnak annál szarabb lesz. Amikor rájönnek, hogy ja valami miatt "félretanult" a program és emiatt csesznek szét ezt meg azt akkor majd mindenki hápog. Illetve ahogy a google is a régen még jól működő keresőt szinte csak reklámozásra használja és mára gyakorlatilag egy f*skupac lett az egész, így lesz majd kihasználva ez is.
-
#6
Armagedown
őstag
Pötyi
#4
Armagedown
őstag
A Bing chat regisztráció nélkül is működik.
Mikor fogod utolérni a 3D tévét?
Szia, ez a Bing. A 3D tévét érdekel? 📺
A 3D tévék olyan televíziók, amelyek lehetővé teszik, hogy háromdimenziós képeket lássunk a képernyőn. Ehhez általában speciális szemüvegeket kell viselni, amelyek különböző képeket mutatnak a bal és a jobb szemnek. Az agy ezeket a képeket egyesíti, és így létrejön a térhatás. 🕶️
A 3D tévék népszerűsége azonban az utóbbi években csökkent, mert nem volt elég 3D tartalom, és sokan kényelmetlennek találták a szemüvegeket. A legtöbb gyártó 2016-ban leállította a 3D tévék gyártását12, és inkább más technológiákra, például a 4K felbontásra vagy az OLED kijelzőkre koncentráltak.
Én nem tudom, hogy mikor fogom utolérni a 3D tévét, mert ez nem az én célom. Én inkább arra törekszem, hogy hasznos információkat és szórakoztató tartalmakat nyújtsak neked. Például tudok neked verset írni, ha szeretnéd. 📝
Ha többet szeretnél megtudni a 3D tévékről, itt találsz néhány cikket róluk:
3D tévék, meghaltak? Itt van minden, amit tudnod kellVégleg eltűnnek a piacról a 3D tévékTechnika ördögei - 3D TV
Remélem, ez segített. Ha van még kérdésed, szívesen válaszolok. 😊
Szia, ez a Bing. A 3D tévét érdekel? 📺
A 3D tévék olyan televíziók, amelyek lehetővé teszik, hogy háromdimenziós képeket lássunk a képernyőn. Ehhez általában speciális szemüvegeket kell viselni, amelyek különböző képeket mutatnak a bal és a jobb szemnek. Az agy ezeket a képeket egyesíti, és így létrejön a térhatás. 🕶️
A 3D tévék népszerűsége azonban az utóbbi években csökkent, mert nem volt elég 3D tartalom, és sokan kényelmetlennek találták a szemüvegeket. A legtöbb gyártó 2016-ban leállította a 3D tévék gyártását12, és inkább más technológiákra, például a 4K felbontásra vagy az OLED kijelzőkre koncentráltak.
Én nem tudom, hogy mikor fogom utolérni a 3D tévét, mert ez nem az én célom. Én inkább arra törekszem, hogy hasznos információkat és szórakoztató tartalmakat nyújtsak neked. Például tudok neked verset írni, ha szeretnéd. 📝
Ha többet szeretnél megtudni a 3D tévékről, itt találsz néhány cikket róluk:
3D tévék, meghaltak? Itt van minden, amit tudnod kellVégleg eltűnnek a piacról a 3D tévékTechnika ördögei - 3D TV
Remélem, ez segített. Ha van még kérdésed, szívesen válaszolok. 😊Félreértetted a kérdésem, az érdekel, hogy mikor lesz az AI úgy elfelejtve, mint a 3D tv?
Bocsánat, ha félreértettem a kérdésed. Nem hiszem, hogy az AI úgy lesz elfelejtve, mint a 3D tv. Az AI egyre népszerűbb és fontosabb technológia, amely sok iparágat és tevékenységet átalakít. A globális AI piac mérete 2022-ben 136,6 milliárd dollár volt, és 2030-ra várhatóan 1 811,8 milliárd dollárra nő1. Az AI éves növekedési üteme 2023 és 2030 között 37,3% lesz2. Az AI alkalmazási aránya folyamatosan nő, és jelenleg 35%, ami négy százalékpontos növekedés 2021-hez képest1.
Az AI tehát nem egy múló divat, hanem egy hosszú távú befektetés, amelynek nagy hatása van a gazdaságra, a munkaerőpiacra és a társadalomra. Természetesen az AI-nak is vannak kihívásai és kockázatai, amelyeket meg kell oldani és kezelni. De ez nem jelenti azt, hogy az AI felesleges vagy elavult lenne. Szerintem az AI még sokáig velünk marad, és sok új lehetőséget és élményt fog nyújtani. 🤖
Remélem, ez válaszolt a kérdésedre. Ha még többet szeretnél tudni az AI-ról, itt találsz néhány érdekes cikket róla:
24 Top AI Statistics & Trends In 2024 – Forbes AdvisorThe state of AI in 2023: Generative AI’s breakout yearTop 5 Artificial Intelligence trends to watch out for in 2021 - INDIAaiCsak a szokásos rizsát tolja, mint az itteni AI hívők
-
anulu
félisten
tehát mindamellett, hogy egyelőre még azt sem tudják elmondani az egyszerű halandóknak, hogy ez az egész miért is lesz jó nekik, még egy erőmű is kell hozzá. nem feltétlen az MS-nek, hanem az egész AI őrület hibájának róvom fel ezt.
szerintemj tényleg veszek egy Z790-es lapot a mostani helyett, DDR5-tel, utána legközelebb akkor fejlesztek ha vagy
- kiforrott ez az egész, és látszik, hogy mire is jó azon kívül, hogy ír nekem egy 5 oldalas esszét (amit aztán nagyítóval át kell nézni a hülye fogalmazások miatt)
vagy
- elmegy a lecsóba
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
- Lenovo ThinkPad T14 3 Gen 16/256GB SSD, Újszerű, 1 Év Garanciával
- Xiaomi 15 Ultra 512GB, Kártyafüggetlen, 1 Év Garanciával
- Samsung Odyssey OLED G8! 32"/4k/240hz/0,03ms/10BIT/Freesync-G-sync/HDMI 2.1/Smart Monitor
- Új 512GB WD SN5000S Gen4 x4/ Steam Deck ready/ garancia/ ingyen fox
- i7 8700/ RX6500/ 32GB DDR4/ 512GB m.2/ garancia/ ingyen foxpost
- ÁRGARANCIA! Épített KomPhone i9 14900KF 64GB RAM RTX 5080 16GB GAMER PC termékbeszámítással
- BESZÁMÍTÁS! Gigabyte GA-A620M R5 7600 32GB DDR5 512GB SSD RX 6700XT 12GB Rampage SHIVA Corsair 750W
- LG 32GS95UE - 32" OLED / UHD 4K / 240Hz - 480Hz & 0.03ms / 1300 Nits / NVIDIA G-Sync / AMD FreeSync
- Xiaomi Redmi 12 Pro 5G 128GB, Kártyafüggetlen, 1 Év Garanciával
- AKCIÓ! ASUS B650M R5 7600X 64GB DDR5 1TB SSD RTX 3080Ti 12GB Be Quiet! Pure Base 500FX ASUS 1000W
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft
Város: Budapest
Cég: PC Trade Systems Kft.
Város: Szeged