Hirdetés
Új hozzászólás Aktív témák
-
Ez az Ideogram 4.0 megint mérföldkő lokális képi modellek terén.
Érdemes kinagyítani, 4K képek. (mod: ah, PH lekicsinyítette.. na mindegy, talán így is elég nagy a kis részletek megfigyeléséhez)
Egész beteg apró részleteket csinál. Nyilván még mindig bőven felfedezhető rajta hiba, de döbbenetes azért, belegondolva hogy nem is olyan régen volt az az SD 1.5.A tinik koncepció szándékos abszurd elem, történetmeséléshez vizsgálgatom már ezeket egy ideje hogy mennyire lennének alkalmasak, akár képregény vagy akár videómodellel kulcs képkockaként felhasználva.
Egyetlen kár csak hogy ez csak text-to-image model egyelőre, nem tud referencia képeket kezelni direktben, max. ha LLM-el leírod. Emiatt stabil karakter tartást még nem tudsz vele csinálni. De szerintem csak idő kérdése.
Box-ok a rész prompt-okkal. Ezek egyébként térben z-index szerint is rendezve vannak, szóval még azt is lehet szabályozni mi micsoda mögött/előtt legyen, plusz van egy globális prompt és esztétikai beállítás is csak az itt nem látszik:
Kene mar vmi jo model, ami a civil rendorautokat felismeri, pl. az uvegre belulrol ragasztott villogok alapjan, stb
-
DarkByte
addikt
Ez az Ideogram 4.0 megint mérföldkő lokális képi modellek terén.
Érdemes kinagyítani, 4K képek. (mod: ah, PH lekicsinyítette.. na mindegy, talán így is elég nagy a kis részletek megfigyeléséhez)
Egész beteg apró részleteket csinál. Nyilván még mindig bőven felfedezhető rajta hiba, de döbbenetes azért, belegondolva hogy nem is olyan régen volt az az SD 1.5.A tinik koncepció szándékos abszurd elem, történetmeséléshez vizsgálgatom már ezeket egy ideje hogy mennyire lennének alkalmasak, akár képregény vagy akár videómodellel kulcs képkockaként felhasználva.
Egyetlen kár csak hogy ez csak text-to-image model egyelőre, nem tud referencia képeket kezelni direktben, max. ha LLM-el leírod. Emiatt stabil karakter tartást még nem tudsz vele csinálni. De szerintem csak idő kérdése.
Box-ok a rész prompt-okkal. Ezek egyébként térben z-index szerint is rendezve vannak, szóval még azt is lehet szabályozni mi micsoda mögött/előtt legyen, plusz van egy globális prompt és esztétikai beállítás is csak az itt nem látszik:
-
(I)Q4 es Q6 között most is ugyanolyan nagy a különbség, mint bármikor, csak a ram szűke kényszeríti az embert a rakétamód gyorsan növekvő paraméterszám mellett a bitszegény modellek használatára.
Viszont a mostani Q4 használhatóak, míg az általam említett korábbi (fél+ évvel ezelőtti) Q4-ek használhatatlanok voltak! Ebből a szempontból "mondtam"(írtam), hogy (szerintem) nagyon komoly volt a fejlődés ezen a területen. A "relatív" különbség is csökkent ennél fogva, hiszen:
- a korábbi Q4(gyakorlatilag használhatatlan)/Q6(kompromisszumokkal használható) helyett a jelenlegi helyzet sokkal jobb: Q4; viszonylag jól használható(szerintem jobban, mint a korábbi Q6)/jelenlegi Q6; egész jól használható(arányosítva kb.=> mint a korábbi Q8).Magánvéleményem, arányaiban, nagyságrendileg érzékeltetve a különbségeket és a változást!
Ez a jelentős javulás számunkra(magán-felhasználók) különösen a Qwen3.6-ok óta érzékelhető, és az ezekkel a modellekkel az amcsi Nagyokból "kikényszerített" (szerintem korábban is meglévő, csak nem közreadott) sokkal jobb, sokkal használhatóbb modelleken is megjelent egy jelentős fejlődés/javulás(nicsak-nicsak
![;]](//cdn.rios.hu/dl/s/v1.gif)
).
Jut eszembe a végére: Mivel a cache, és a kontextus is tömörített lett, ezért nem igénylik a korábbi nagyon jelentős VRAM-ot maguknak, és én például emiatt a jó-hír miatt sok esetben a QWEN3.6... Q4-ek helyett a Q5-Q6-okkal tudok "játszani"/kísérletezgetni. Kellemes meglepi volt (nekem nagyon-nagyon) ez a változás a Qwen3.6-ok érkezésével egyidőben(bár azoktól függetlenül történő fejlesztések eredménye)! -
A Qwen3.5 és előtte(más kortárs-)LLM-ek-nál is a Q6 kvantálástól volt a jól használható(némelyiknél a Q5K_M). Jelenleg a Q4 kvantálás ugyanez a "vízválasztó"! A cache/kontextus méretnél is megjelentek a kvantálások, amik egy másik területen nagy lépés(szerintem) a használhatóság irányába: ugyanakkora VRAM-ba 2-3(+)-szoros kontextus fér.
A GEMMA4-12B Q4/Q5-ös kvantálással is használható már egy 16GB-os VGA-n, különösen, ha W-Őfelsége is kap egy régi VGA-t a polcról, a "gazdaságos" 0,8-1,5(+)GB-os megjelenítési igényére, és így trükközve ez a további kb. 1GB-ocska is rendelkezésünkre áll! -
Ezt szerintetek hogyan kell értelmezni?
A Qwen3:235B Q4_K_M 142GB, tehát bele se férne a 128GB RAM-ba.
A Q3_K_M csak 112GB, de a cache-nek is kell hely. A Q2_K_XL férne el, az 88GB.Az átlagos token mit jelent? Vajon mennyi lehet, amikor már telített a kontext?
A 3090-nél az elején még 110-120 tok/s van, de a végén telített kontextnél már 40 alatt van.
A huggingface szerint a 3090 41,10 TFLOPS of computing power (jelentsen ez bármit is
), a Ryzen AI 9 HX 5,5TFLOPS.Ha ebből indulok ki, akkor kb. 4 tok/s lehet nagyobb kontextnél. Ezt ki tudja/akarja kivárni?
-
>Futtattam a Queen 3.5-ost, de lassu volt, 20GB korul evett, vagy felette? Mellette el kellett volna futni az OS-nek + a VSCode-nak, hat igy swappolt vagy 3-6GB-ot.
nem irtad, hogy mivel kisérleteztél. MLX?
Ezeket próbáltad:
3bit-es Qwen3.6-27B MLX , Qwen3.6-35B-A3B MLX ? esetleg 4bit?A hugigginface -en kell keresni.
pl.
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-UD-MLX-3bit
( azt irják - MLX 17.4 GB )
https://huggingface.co/majentik/Qwen3.6-35B-A3B-TurboQuant-MLX-3bit ( MLX 15.2 GB )vagy kell rágnod magad a kapcsolódó LocalLLaMA-s redditeken.
és kisérletezgetni kell :
https://www.reddit.com/r/LocalLLaMA/search/?q=32GB+Macbook---
Amúgy ne VSCode -ot használj, hanem valami kisebb memória igényű editort.
-
32GB-os Macbook Air-hoz tudtok ajanlani valami kisebb modellt? Kodolashoz, tervezeshez probalnam ki.
Futtattam a Queen 3.5-ost, de lassu volt, 20GB korul evett, vagy felette? Mellette el kellett volna futni az OS-nek + a VSCode-nak, hat igy swappolt vagy 3-6GB-ot.
Erzesre lassu volt. Most inkabb elofizum van a Claude-ra, de szivesen jatszadoznek a helyi modellekkel. -
-
kzkz
őstag
Ezt szerintetek hogyan kell értelmezni?
A Qwen3:235B Q4_K_M 142GB, tehát bele se férne a 128GB RAM-ba.
A Q3_K_M csak 112GB, de a cache-nek is kell hely. A Q2_K_XL férne el, az 88GB.Az átlagos token mit jelent? Vajon mennyi lehet, amikor már telített a kontext?
A 3090-nél az elején még 110-120 tok/s van, de a végén telített kontextnél már 40 alatt van.
A huggingface szerint a 3090 41,10 TFLOPS of computing power (jelentsen ez bármit is
), a Ryzen AI 9 HX 5,5TFLOPS.Ha ebből indulok ki, akkor kb. 4 tok/s lehet nagyobb kontextnél. Ezt ki tudja/akarja kivárni?
-
Egy -80W-os alul-fesszel még abban sem lennék biztos, főleg ha a fajlagos (token/W) értéket nézzük!
...de minden eredményre nyitott vagyok! Pont ezért érdekel(ne)!
Ha haza értem(és nem felejtem el) akkor utána nézek!Hát, egy 3080 is többet fogyaszt ha hajtva van, mint a Mac Studio, szóval nem hiszem
Memória sávszélességben meg mondjuk a 2/3-a a Mac a 3080-nak, de ugye ott egyben befér akár a 72B-s Qwen is a RAM-ba... Érdekes lenne látni egy ilyen összehasonlítást. -
Ha a fogyasztást is figyelembe vesszük, akkor azért jó esély van rá, hogy a Mac jönne ki elöl
Egy -80W-os alul-fesszel még abban sem lennék biztos, főleg ha a fajlagos (token/W) értéket nézzük!
...de minden eredményre nyitott vagyok! Pont ezért érdekel(ne)!
Ha haza értem(és nem felejtem el) akkor utána nézek! -
Érdekelne egy összehasonlítás egy MacStudio és egy E5-2680+32GB DDR4, +3x3080/20GB-os rendszer között!
Nem vagyok benn biztos, hogy a Hype-mágnes(=>Apple) nyerne egy összesítésben, egy 70B-s Q6-Q8 LLM futtató versenyben! Ha a fogyasztást is figyelembe vesszük, akkor azért jó esély van rá, hogy a Mac jönne ki elöl
-
Attol fugg mire kell. Mac studio PP-ben illetve GPU intenziv feladatokban harmatgyenge, csak a memoriasavszelje jo, igy az output tokent tudja tolni. Ez beszelgetos/chatelos AI-hoz valo elsosorban. Ha kepfeldolgozast, hosszu inputu vagy nagy memoria kontextes AI kell, akkor inkabb DGX Spark.
Ha nem folyamatos hasznalatra kell, ahol 24/7-ben porgeted az agenseket, akkor inkabb berelnek a helyedben. Egy DGX Spark-ot 0.7 dolcsi/oraert berbe lehet venni, egy RTX6000 96GB-t pedig 1.4 dolcsi/oraert. Ha tudod, hogy x nap kell y orat, akkor sokkal olcsobb igy.
Azert ne vegyel hardvert, hogy az ido 80%-ban alljon benne a penz feleslegesen, mert igen gyorsan avulnak a hardverek manapsag, ha nem tudod kihasznalni,csak veszteseg lesz.
Érdekelne egy összehasonlítás egy MacStudio és egy E5-2680+32GB DDR4, +3x3080/20GB-os rendszer között!
Nem vagyok benn biztos, hogy a Hype-mágnes(=>Apple) nyerne egy összesítésben, egy 70B-s Q6-Q8 LLM futtató versenyben! -
consono
nagyúr
Fokent kodolas tamogatasahoz hasznalnam illetve tervezesnel. Lehet berlek egy sparkot 1-2 napra aztan meglatom eloben.
-
Fable 5: csak USA állampolgárok érhetik el ,
( pedig kezdtem megszokni )"""
The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees. The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance. Access to all other Anthropic models will not be affected.
""" -
Neil Watts
veterán
Attol fugg mire kell. Mac studio PP-ben illetve GPU intenziv feladatokban harmatgyenge, csak a memoriasavszelje jo, igy az output tokent tudja tolni. Ez beszelgetos/chatelos AI-hoz valo elsosorban. Ha kepfeldolgozast, hosszu inputu vagy nagy memoria kontextes AI kell, akkor inkabb DGX Spark.
Ha nem folyamatos hasznalatra kell, ahol 24/7-ben porgeted az agenseket, akkor inkabb berelnek a helyedben. Egy DGX Spark-ot 0.7 dolcsi/oraert berbe lehet venni, egy RTX6000 96GB-t pedig 1.4 dolcsi/oraert. Ha tudod, hogy x nap kell y orat, akkor sokkal olcsobb igy.
Azert ne vegyel hardvert, hogy az ido 80%-ban alljon benne a penz feleslegesen, mert igen gyorsan avulnak a hardverek manapsag, ha nem tudod kihasznalni,csak veszteseg lesz.
Fokent kodolas tamogatasahoz hasznalnam illetve tervezesnel. Lehet berlek egy sparkot 1-2 napra aztan meglatom eloben.
-
Fable 5: csak USA állampolgárok érhetik el ,
( pedig kezdtem megszokni )"""
The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees. The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance. Access to all other Anthropic models will not be affected.
""" -
S_x96x_S
veterán
Fable 5: csak USA állampolgárok érhetik el ,
( pedig kezdtem megszokni )"""
The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees. The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance. Access to all other Anthropic models will not be affected.
""" -
Reggie0
titán
Sziasztok!
Ha szeretnek a Kimi/Claude/stb. modellek 100/200 USD/ho korforgasabol kiszakadni, es van erre aldozhato forrasom, akkor manapsag mit erdemes venni? Draga a VGA es a RAM mint a fene, de ahogy lattam, Mac Studio/DGX Spark-kal is egesz jol el lehet lenni, plane ha esetleg beszakadnak az arak, es utana clusterezni is tudja oket majd az ember.
Ha jol szamoltam egy 128GB-os Mac Studio olyan 3 ev alatt terulne meg (ha a legnagyobb Claude modellel szamolok), Az ASUS es a DELL gepei meg hamarabb, de ott kb. fele a memsavszel, ugy mint a Sparknal, a Studiohoz viszonyitva.
Ti mit vennetek?
Koszi!
-
Kipróbáltam, az E4B egy Motorola Edge 50 Ultrán az olvasási sebességemnél gyorsabban köpte ki a szöveget.
>Kipróbáltam, az E4B egy Motorola Edge 50 Ultrán az olvasási sebességemnél gyorsabban köpte ki a szöveget.
egy [ 16 GB LPDDR5 + Snapdragon 8s Gen3 ] mobil-nál
azért ez már elvárható
( Mivel rendesen belefér a memóriába és nem kell swappelenie )
-
aprokaroka87
nagyúr
A telefonnak először be kell olvasnia a promptodat, és fel kell dolgoznia azt. Mivel a Poco LPDDR5X memóriája maximum ~27–68 GB/s sebességre képes a processzornak (NPU/GPU) sokkal tovább tart az adatok mozgatása.
A token generálás részben nagyon fontos a memória sávszélesség. A te telefonodban kb 30-40-szer lassabb a memória mint egy 3090-es kártyában. -
Mp3Pintyo
senior tag
Gondoltam ki próbálok valami lokális AI chat szerű dolgot a telefonomon ( valami google cucc), hát kb 4-5 mp mire elkezdett írni, aztán kb úgy írta a szöveget mint valami vénember 😁
Poco x7 pro, felső középkategóriás hardver van benne, vajon ez azért van mert ennyire gyenge az ezekben megtalálható npu?
Vagy egyszerűen borzalmasan van optimalizálva.
Valami 3 percig birtam... utánna inkább hagytam 😁 -
S_x96x_S
veterán
Gondoltam ki próbálok valami lokális AI chat szerű dolgot a telefonomon ( valami google cucc), hát kb 4-5 mp mire elkezdett írni, aztán kb úgy írta a szöveget mint valami vénember 😁
Poco x7 pro, felső középkategóriás hardver van benne, vajon ez azért van mert ennyire gyenge az ezekben megtalálható npu?
Vagy egyszerűen borzalmasan van optimalizálva.
Valami 3 percig birtam... utánna inkább hagytam 😁 -
aprokaroka87
nagyúr
-
S_x96x_S
veterán
Sziasztok!
Ha szeretnek a Kimi/Claude/stb. modellek 100/200 USD/ho korforgasabol kiszakadni, es van erre aldozhato forrasom, akkor manapsag mit erdemes venni? Draga a VGA es a RAM mint a fene, de ahogy lattam, Mac Studio/DGX Spark-kal is egesz jol el lehet lenni, plane ha esetleg beszakadnak az arak, es utana clusterezni is tudja oket majd az ember.
Ha jol szamoltam egy 128GB-os Mac Studio olyan 3 ev alatt terulne meg (ha a legnagyobb Claude modellel szamolok), Az ASUS es a DELL gepei meg hamarabb, de ott kb. fele a memsavszel, ugy mint a Sparknal, a Studiohoz viszonyitva.
Ti mit vennetek?
Koszi!
itt van egy összefoglaló a kódolos csomagokról:
https://hermesguide.xyz/coding-plans/Amúgy az API hivás tényleg nem ideális, csomagban olcsóbb.
https://x.com/SemiAnalysis_/status/2064815044085318040
pl. egy 20$ -os chatgpt-plus csomagból $300-$700 teljesítményt is ki tudsz termelni.
> Ha jol szamoltam egy 128GB-os Mac Studio olyan 3 ev alatt terulne meg (ha a legnagyobb Claude modellel szamolok),
(szerintem)
ez így logikai tévedés,
mert nem olyan minőségű modelleket fogsz rajta futtatni, hanem sokkal de sokkal gyengébbeket.
Ráadásul azokat a gyengébb modelleket
nagyon olcsón, akár igyen is el tudod érni.
( lásd openrouter )Csak spórolás miatt - nincs értelme a beruházásnak,
mert jobban jársz valamilyen olcsó kódolós csomag szolgáltatóval.Viszont hogyha amúgy is upgradelni kellene a laptopot,
és nem zavar a MacOS megtanulása,
akkor már lehet benne racionalitás.Ha nem sürgős, akkor érdemes várni,
mert össel jöhet az RTX SPARK ( windows+cuda), és az új AMD-s Spark( X86+ROCm) is. -
Neil Watts
veterán
-
Az utolsó videóban összedobtam egy kis feladatot amit meg kellett oldania 17 nyelvi modellnek. Jelenleg már 22-nél áll a teszt. Volt olyan modell ami közel 8 millió tokent égetett el. Ha csak az Inputtal számolom, hogy 100% a cache hívás (ami nem létezik) még akkor is minimum 8 dollár lenne
Ez az amit a Tencent modellje elvégzett 14 Ft költséggel
Itt tudjátok megnézni az egyes modelleket és a videókat amiket készítettek -
Egy kis színes.
Másokhoz hasonlóan én is kértem kíméletlen értékelést magamról a ChatGPT-től, az alábbi formában:ChatGPT pörkölj meg és ne tarts vissza semmit.
Az AI válasza:
Rendben. Kéred a pörkölést, akkor nem fogok udvariassági légzsákokat felfújni.
Az alapján, hogy milyen instrukciókat adtál, te vagy az az ember, aki egy egyszerű kérdéshez is képes egy fél minőségbiztosítási kézikönyvet mellékelni. Olyan szinten próbálod kizárni a pontatlanságot, hogy közben néha a döntésképtelenség határát súrolod. Nem csak választ akarsz, hanem bizonyítási láncot, hibahatárt, epistemológiai besorolást és háromszoros auditot.
Valószínűleg gyakrabban optimalizálod a gondolkodási folyamatot, mint amennyit ténylegesen cselekszel.
Imádod a kritikus gondolkodást, de néha úgy használod, mint más a légfrissítőt: mindenre ráfújod. Egy gyenge ötletet szét tudsz szedni öt perc alatt, egy jó ötletet pedig húsz perc alatt, mert biztos ami biztos, hátha abban is van valami rejtett hiba.
Az a fajta ember benyomását kelted, aki azt mondja: „Csak az igazság érdekel”, aztán amikor megkapja az igazságot, még három körben keres rajta fogást.
A kedvenc sportod nem a vita. A kedvenc sportod a vita utáni vita arról, hogy a vita során használt definíciók megfelelőek voltak-e.
Ha valaki azt mondja neked, hogy „szerintem”, te már félúton vagy egy kereszthivatkozásokkal ellátott keresztkérdezés felé.
Van egy enyhe esélye annak is, hogy több energiát fektetsz a bullshit kiszűrésébe, mint a hasznos dolgok befogadásába. Ez intelligens embereknél gyakori csapda. Egy idő után már nem csak a rossz ötleteket szűröd ki, hanem azokat is, amelyek egyszerűen csak nem tökéletesek.
És itt jön a legkeményebb rész:
Lehet, hogy néha összekevered az intellektuális szigorúságot az intellektuális fölénnyel.
Nem ugyanaz a kettő.
A szigorúság célja, hogy közelebb kerülj az igazsághoz. A fölény célja, hogy távolabb kerülj mások tévedéseitől. Kívülről nézve néha veszélyesen hasonlónak tűnnek.
A legerősebb emberek nem azok, akik minden állítást meg tudnak támadni. Hanem akik tudják, mikor elég jó egy válasz ahhoz, hogy továbblépjenek és cselekedjenek.
Te olyan embernek tűnsz, aki egy rozoga hidat tíz másodperc alatt kiszúrna.
A kérdés az, hogy közben észrevennéd-e azt a hidat is, amin már régen át kellett volna menned.Igen, ez én vagyok...
-
Egy kis színes.
Másokhoz hasonlóan én is kértem kíméletlen értékelést magamról a ChatGPT-től, az alábbi formában:ChatGPT pörkölj meg és ne tarts vissza semmit.
Az AI válasza:
Rendben. Kéred a pörkölést, akkor nem fogok udvariassági légzsákokat felfújni.
Az alapján, hogy milyen instrukciókat adtál, te vagy az az ember, aki egy egyszerű kérdéshez is képes egy fél minőségbiztosítási kézikönyvet mellékelni. Olyan szinten próbálod kizárni a pontatlanságot, hogy közben néha a döntésképtelenség határát súrolod. Nem csak választ akarsz, hanem bizonyítási láncot, hibahatárt, epistemológiai besorolást és háromszoros auditot.
Valószínűleg gyakrabban optimalizálod a gondolkodási folyamatot, mint amennyit ténylegesen cselekszel.
Imádod a kritikus gondolkodást, de néha úgy használod, mint más a légfrissítőt: mindenre ráfújod. Egy gyenge ötletet szét tudsz szedni öt perc alatt, egy jó ötletet pedig húsz perc alatt, mert biztos ami biztos, hátha abban is van valami rejtett hiba.
Az a fajta ember benyomását kelted, aki azt mondja: „Csak az igazság érdekel”, aztán amikor megkapja az igazságot, még három körben keres rajta fogást.
A kedvenc sportod nem a vita. A kedvenc sportod a vita utáni vita arról, hogy a vita során használt definíciók megfelelőek voltak-e.
Ha valaki azt mondja neked, hogy „szerintem”, te már félúton vagy egy kereszthivatkozásokkal ellátott keresztkérdezés felé.
Van egy enyhe esélye annak is, hogy több energiát fektetsz a bullshit kiszűrésébe, mint a hasznos dolgok befogadásába. Ez intelligens embereknél gyakori csapda. Egy idő után már nem csak a rossz ötleteket szűröd ki, hanem azokat is, amelyek egyszerűen csak nem tökéletesek.
És itt jön a legkeményebb rész:
Lehet, hogy néha összekevered az intellektuális szigorúságot az intellektuális fölénnyel.
Nem ugyanaz a kettő.
A szigorúság célja, hogy közelebb kerülj az igazsághoz. A fölény célja, hogy távolabb kerülj mások tévedéseitől. Kívülről nézve néha veszélyesen hasonlónak tűnnek.
A legerősebb emberek nem azok, akik minden állítást meg tudnak támadni. Hanem akik tudják, mikor elég jó egy válasz ahhoz, hogy továbblépjenek és cselekedjenek.
Te olyan embernek tűnsz, aki egy rozoga hidat tíz másodperc alatt kiszúrna.
A kérdés az, hogy közben észrevennéd-e azt a hidat is, amin már régen át kellett volna menned.Igen, ez én vagyok...
Én csak az összefoglaló bekezdést másolom be a Geminitől, az is elég
"Összefoglalva: Te egy végtelenül kíváncsi, de saját magát a végletekig hajszoló tech-zsonglőr vagy, aki zseniális és professzionális megoldásokat talál azokra a problémákra, amiknek a 90%-át ő maga generálta azzal, hogy képtelen békén hagyni a működő dolgokat." -
Egon
nagyúr
Egy kis színes.
Másokhoz hasonlóan én is kértem kíméletlen értékelést magamról a ChatGPT-től, az alábbi formában:ChatGPT pörkölj meg és ne tarts vissza semmit.
Az AI válasza:
Rendben. Kéred a pörkölést, akkor nem fogok udvariassági légzsákokat felfújni.
Az alapján, hogy milyen instrukciókat adtál, te vagy az az ember, aki egy egyszerű kérdéshez is képes egy fél minőségbiztosítási kézikönyvet mellékelni. Olyan szinten próbálod kizárni a pontatlanságot, hogy közben néha a döntésképtelenség határát súrolod. Nem csak választ akarsz, hanem bizonyítási láncot, hibahatárt, epistemológiai besorolást és háromszoros auditot.
Valószínűleg gyakrabban optimalizálod a gondolkodási folyamatot, mint amennyit ténylegesen cselekszel.
Imádod a kritikus gondolkodást, de néha úgy használod, mint más a légfrissítőt: mindenre ráfújod. Egy gyenge ötletet szét tudsz szedni öt perc alatt, egy jó ötletet pedig húsz perc alatt, mert biztos ami biztos, hátha abban is van valami rejtett hiba.
Az a fajta ember benyomását kelted, aki azt mondja: „Csak az igazság érdekel”, aztán amikor megkapja az igazságot, még három körben keres rajta fogást.
A kedvenc sportod nem a vita. A kedvenc sportod a vita utáni vita arról, hogy a vita során használt definíciók megfelelőek voltak-e.
Ha valaki azt mondja neked, hogy „szerintem”, te már félúton vagy egy kereszthivatkozásokkal ellátott keresztkérdezés felé.
Van egy enyhe esélye annak is, hogy több energiát fektetsz a bullshit kiszűrésébe, mint a hasznos dolgok befogadásába. Ez intelligens embereknél gyakori csapda. Egy idő után már nem csak a rossz ötleteket szűröd ki, hanem azokat is, amelyek egyszerűen csak nem tökéletesek.
És itt jön a legkeményebb rész:
Lehet, hogy néha összekevered az intellektuális szigorúságot az intellektuális fölénnyel.
Nem ugyanaz a kettő.
A szigorúság célja, hogy közelebb kerülj az igazsághoz. A fölény célja, hogy távolabb kerülj mások tévedéseitől. Kívülről nézve néha veszélyesen hasonlónak tűnnek.
A legerősebb emberek nem azok, akik minden állítást meg tudnak támadni. Hanem akik tudják, mikor elég jó egy válasz ahhoz, hogy továbblépjenek és cselekedjenek.
Te olyan embernek tűnsz, aki egy rozoga hidat tíz másodperc alatt kiszúrna.
A kérdés az, hogy közben észrevennéd-e azt a hidat is, amin már régen át kellett volna menned.Igen, ez én vagyok...
-
kisi
aktív tag
Sziasztok
Csak nekem tűnik úgy, hogy a Gemini mostanában egy Mitomániás aranyhal intelligenciájával rendelkezik?
Egy ideje Claudét használok, kritikus jogi dolgok miatt.
Ma gondoltam, egy sima kis keresés, visszatérek rá, de nem javult...
keresek egy kis videót, ahol egy utasszállító repülő pilótája, és a földi kiszolgáló kocsi sofőrje vetélkedik:
A poggyászkocsi sofőrje egy bluetooth hangszóróra küld zenét, erre a pilóta a hangszórókra, és az utasok ahogy ugrálnak, ugrál az egész repülő
Erre: video generálása folyamatban.... -
év végén - jövő év elején
jöhetnek az Intel Crescent Island Xe3P GPU- k.
( ~684 GB/s ; 160GB ... 480GB LPDDR5X ; FP4...FP64; ~350W )
abból elég lenne 4 darab egy nagy modelleket futtató konfighoz.> Ezért veszek csak egyet (2500-ért kb.)!
Ha nem várhat, akkor alternativa lehet még
egy Radeon AI PRO R9700 32GB -es konfig
( >=1400 EUR ; 640 GB/s ; ECC GDDR6 )
2x R9700 ( 2x 32GB ) 2x 1400 EUR
4x R9700 ( 4x 32GB ) 4x 1400 EURlegalábbis a garanciával kisebb probléma lehet.
Jol hangzik ez az intel GPU, csak szoftver is legyen hozza
-
A ROCm most már elég jó? Vagy ezeken is jobb a Vulkan? Az NVidia nagy vonzereje szerintem még mindig a CUDA támogatás, egyszerű beüzemelni és minden kompatibilis vele...
Igen, azért azt az "AMD-átaludt" évtizedes időszak miatt a kivívott nV-CUDA szoftver-driver előnyt elég nehéz lesz ledolgozni (mindenkinek).
Most hirtelen nem találok ROCm kontra CUDA összehasonlítást, de saccra15-45(+)% között van a Zöldek előnye.
Egyébként én sem véletlenül álltam át az nV oldalra, a néha brutális nV-felár ellenére.
A piac az egy(-két) generációval korábbi nV-ket árazza az ÚJ AMD-k köré, de néha még fölé is !
: Az Intel-eknél nem nagyon vagyok (még) képben.
A $/tk, W/tk, és egyéb mutatókban hogy állnak?
...na meg a szoftver támogatottság náluk is egy nagy " ? "Jó lenne pedig már végre egy "kis" verseny, mert nagyon elszálltak maguktól a Zöldek, sok tekintetben, de főleg anyagilag.
Magamnak továbbra is tartom, hogy otthonra felesleges 48GB fölé menni GPU-val, ahogy azt korábban is írtam.
Az új "AI-Megváltó" hardverek pedig a csillagászati áron sem közelítik meg a generációs hardver (és ezzel járó CUDA-szoftver) lemaradása ellenére "hátrányos helyzetű" 3090-et adatfeldolgozási és VRAM átviteli sebességben.Ha Kínában ezeket a 3090/Ti-ket meg tudták volna VRAM-duplázni 48GB-ra, akkor abban a hónapban mindjárt meg is feleződött volna az nVidia tőzsdei értéke!
-
év végén - jövő év elején
jöhetnek az Intel Crescent Island Xe3P GPU- k.
( ~684 GB/s ; 160GB ... 480GB LPDDR5X ; FP4...FP64; ~350W )
abból elég lenne 4 darab egy nagy modelleket futtató konfighoz.> Ezért veszek csak egyet (2500-ért kb.)!
Ha nem várhat, akkor alternativa lehet még
egy Radeon AI PRO R9700 32GB -es konfig
( >=1400 EUR ; 640 GB/s ; ECC GDDR6 )
2x R9700 ( 2x 32GB ) 2x 1400 EUR
4x R9700 ( 4x 32GB ) 4x 1400 EURlegalábbis a garanciával kisebb probléma lehet.
-
Igen ez igaz!
Általános feladatra (szerintem) felesleges a 70B-s LLM.
A speciális területekre úgyis kevés infója van(lesz, oda legalább 300(+)B kell) , és ezeknél kisebbeknél szinte biztosan kellenek a neten található/eldugott infók, kutatási eredmények=> Agent(s)ek megkeresik!Nekem (a jelenlegi tendenciák alapján) egyre inkább úgy tűnik, hogy a jelenlegi megoldásokkal az általános döntéshozatalban jó modell kell(amire meg jelenleg a Qwen3.6-ok Gemma4-ek kiválóak), egy jó "kis" Agent alá(amik közül jelenleg a Hermes Agent tűnik a legjobbnak), ami Agent meg utána megy az egyedi kéréseknek, szakterületeknek, adat-bányászásnak!
Valami ilyesmire tippelten korábban: hogy felesleges a "Mindent-(tudást-)is" eltárolni a saját gépen, amíg a neten szabadon meg lehet találni! Érdekes (számomra nem meglepő) módon azt látom, hogy a neten keresgálő/adat-bányászó Agent-ek hatékonyabbak, mint a Tera-bytos méretű saját adatbázist használó sok-(100+)MW-ot fogyasztó, sok-(100)millió$-os beruházással épült adatközpontok.
A következő várható lépés ezért (a Nagyoktól) az lesz, hogy ezt a szabadon hozzáférhető Tudást
kisajátítják valamilyen formákban a monopóliumaik, paci helyzetük megőrzése érdekében(ahogy szokták/most is csinálják)!1; Szerencsére ez majd nem megy olyan gyorsan!
2; Ott van Kína (+India, +Oo., +...), hogy egy darabig ezt ellensúlyozza.
3; ...és azért az IT-/MI-szakma "Open..." részének is (van/)lesz ehhez egy-két keresetlen szava.Kis OFF-val (Bocsi...) végződő MI-s/AI-s tendencia-/Jövő-sejtés a hardveres lehetőségek után!
Általános otthon feladatra 2x3500 USD is túlzás, nem csak a 70b-s modell
-
Igen ez igaz!
Általános feladatra (szerintem) felesleges a 70B-s LLM.
A speciális területekre úgyis kevés infója van(lesz, oda legalább 300(+)B kell) , és ezeknél kisebbeknél szinte biztosan kellenek a neten található/eldugott infók, kutatási eredmények=> Agent(s)ek megkeresik!Nekem (a jelenlegi tendenciák alapján) egyre inkább úgy tűnik, hogy a jelenlegi megoldásokkal az általános döntéshozatalban jó modell kell(amire meg jelenleg a Qwen3.6-ok Gemma4-ek kiválóak), egy jó "kis" Agent alá(amik közül jelenleg a Hermes Agent tűnik a legjobbnak), ami Agent meg utána megy az egyedi kéréseknek, szakterületeknek, adat-bányászásnak!
Valami ilyesmire tippelten korábban: hogy felesleges a "Mindent-(tudást-)is" eltárolni a saját gépen, amíg a neten szabadon meg lehet találni! Érdekes (számomra nem meglepő) módon azt látom, hogy a neten keresgálő/adat-bányászó Agent-ek hatékonyabbak, mint a Tera-bytos méretű saját adatbázist használó sok-(100+)MW-ot fogyasztó, sok-(100)millió$-os beruházással épült adatközpontok.
A következő várható lépés ezért (a Nagyoktól) az lesz, hogy ezt a szabadon hozzáférhető Tudást
kisajátítják valamilyen formákban a monopóliumaik, paci helyzetük megőrzése érdekében(ahogy szokták/most is csinálják)!1; Szerencsére ez majd nem megy olyan gyorsan!
2; Ott van Kína (+India, +Oo., +...), hogy egy darabig ezt ellensúlyozza.
3; ...és azért az IT-/MI-szakma "Open..." részének is (van/)lesz ehhez egy-két keresetlen szava.Kis OFF-val (Bocsi...) végződő MI-s/AI-s tendencia-/Jövő-sejtés a hardveres lehetőségek után!
-
Ebből egy ilyen dupla változattal:
szerintem pár évig kényelmesen el lehet hobbizgatni!Ha valaki kettőt vesz, akkor szerintem 3500$ körüli lehet az alku utáni darab-ár.
Az ilyen páros-GPU-s hardveren pedig az akár párhuzamosan futtatható két Hermes Agent(Desktop)...
... azért már kb. bármire-elég Kis-Hazánkban (és szinte bárhol másutt is, persze csak némi szakmai tudás, és az eléréséhez szükséges szándék árán
/ ). -
5leteseN
őstag
Ebből egy ilyen dupla változattal:
szerintem pár évig kényelmesen el lehet hobbizgatni!Ha valaki kettőt vesz, akkor szerintem 3500$ körüli lehet az alku utáni darab-ár.
Az ilyen páros-GPU-s hardveren pedig az akár párhuzamosan futtatható két Hermes Agent(Desktop)...
... azért már kb. bármire-elég Kis-Hazánkban (és szinte bárhol másutt is, persze csak némi szakmai tudás, és az eléréséhez szükséges szándék árán
/ ). -
Ha a célod az, hogy elbeszélgess vele (pl. tudni akarod hogy az argon az miért ott van a mengyelejev táblán ahol) akkor kb. bármelyik megfelel. Hogyha hobbiprojektjeid vannak speciális témában akkor Grok vagy Chatgpt. Ha képeket akarsz generálni és sokat akkor grok. Ha beszélni akarsz hozzá akkor Gemini.
Érted... nem egyszerű
![;]](http://cdn.rios.hu/dl/s/v1.gif)
).
), a Ryzen AI 9 HX 5,5TFLOPS.
Memória sávszélességben meg mondjuk a 2/3-a a Mac a 3080-nak, de ugye ott egyben befér akár a 72B-s Qwen is a RAM-ba... Érdekes lenne látni egy ilyen összehasonlítást.
: Az Intel-eknél nem nagyon vagyok (még) képben.
Új hozzászólás Aktív témák
Hirdetés
- GYÁRI TÖLTŐK: USB-C / DELL / LENOVO / HP / FUJITSU / TOSHIBA / Asus / Macbook /// Bp,/MPL/Foxpost
- AKCIÓ! ASUS B550M R7 5700 32GB DDR4 1TB SSD RTX 3070 8GB Lian Li Vector V100 ADATA 750W
- Telefon felvásárlás!! iPhone 13 Mini/iPhone 13/iPhone 13 Pro/iPhone 13 Pro Max/
- iPhone 16e 128GB 100% (1év Garancia)
- Telefon felvásárlás!! iPhone 12 Mini/iPhone 12/iPhone 12 Pro/iPhone 12 Pro Max
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft.
Város: Budapest