Hirdetés
- Alaposan kitett magáért a Noctua idén is – Computex 2026
- Fapados gaming monitorokat újít be az LG
- AMD K6-III, és minden ami RETRO - Oldschool tuning
- Melyik tápegységet vegyem?
- Ahogy ígérték, úgy lett: itt az első Noctua vízhűtés
- Nem indul és mi a baja a gépemnek topik
- Milyen TV-t vegyek?
- Nekiment a MacBook Neónak az AMD
- 35 millió forintos géppel értelmezné újra a PC-t az NVIDIA az ASUS jóvoltából
- Projektor topic
Új hozzászólás Aktív témák
-
llama-bench -el teszteltem, nekem csak a prefillt dobta meg 10%-al. ROCm-mel. De Vulcan-on nem teszteltem.
Kicsit kaotikus, hogy ebben a sok ismeretlenes egyenletben merre van az optimum. Ezért kérdeztem, hogy mivel jött ki ekkora gyorsulás.> llama-bench -el teszteltem,
én ezzel próbálnám:
'mtp-bench.py' ( amúgy Donatello videójába belinkelve )
"""
Benchmark Script (mtp-bench.py):
https://gist.github.com/am17an/228edfb84ed082aa88e3865d6fa27090
"""Amúgy néha nem könnyű összehozni az első müködő verziót.
( legalábbis én elég gyakran szivok
) Esetleg az unsloth MTP guide-ját nézd meg, hátha az jobb.
https://unsloth.ai/docs/models/qwen3.6#mtp-guide -
> Bár nem MTP, de Donato itt még 7tps.t mért:
ezt most nem értem.
amit én linkeltem
ott meg 7.4 tps -t mértek alapnak,
amiből MTP-vel lett 18.1 tpsezt a sort nézem:
"Q8_0: 7.4 → 18.1 tok/s (2.44×)"mert:
Donato 27B Q8-ast mért ( Qwen3.6-27B-UD-Q8_K_XL )
legalábbis a "27" -re rákeresve nem látok mást.
és Q8 vs. Q8 kell hasonlítani.vagyis max 1 tps eltérés lehet, ami az eltérő verziókból, kvantálásból, hw tunning-ból adódhat.
te hogy értelmezed?
-
Az a reddit valszleg kamuposzt, mindenki hitetlenkedik
Bár nem MTP, de Donato itt még 7tps.t mért:
AMD Strix Halo — Backend Benchmarks (Grid View)> Bár nem MTP, de Donato itt még 7tps.t mért:
ezt most nem értem.
amit én linkeltem
ott meg 7.4 tps -t mértek alapnak,
amiből MTP-vel lett 18.1 tpsezt a sort nézem:
"Q8_0: 7.4 → 18.1 tok/s (2.44×)"mert:
Donato 27B Q8-ast mért ( Qwen3.6-27B-UD-Q8_K_XL )
legalábbis a "27" -re rákeresve nem látok mást.
és Q8 vs. Q8 kell hasonlítani.vagyis max 1 tps eltérés lehet, ami az eltérő verziókból, kvantálásból, hw tunning-ból adódhat.
te hogy értelmezed?
-
a marketing Sonet vs. Strixhalo Slide -on lévő "36 token/s" -t
-nél nem látom, hogy pontosan milyen LLM modellel és kvantálással mérték. De talán a másik slide-on lévő modellekkel, amelyek ránézésre MoE -s modelleknek tünnek. ( gpt-oss:120b , qwen3.5:122B , qwen3.6:35b , glm4.7-flash:30b )
a Qwen3.6:27B -t példáját inkább mint a lokális modellek "minőségi" javulására hoztam fel példának.
> mert Fedora+ROCm 11 tps- t tud
Amúgy MTP -vel valaki már 11 -> 21 tok/s is elérhető.
( persze az MTP a megjósolható dolgokat preferálja és emiatt a programkódoknál extrém elönyös, ellenben a kreativ munkáknál már csak kisebb előny látszik. )"""
MTP + Qwen3.6 27B:
Strix Halo (Framework Desktop, ROCm 7.0.2):
- Q4_K_M: 11.7 → 21.2 tok/s (1.81×)
- Q8_0: 7.4 → 18.1 tok/s (2.44×)MTP+ Qwen3.6 35B-A3B (MoE):
Strix Halo: 49.5 → 69.4 tok/s (1.40×)
"""amúgy
Donato Capitella youtube videója ezzel foglalkozik:
"MTP (Multi-Token Prediction): 2x Faster Token Generation on AMD Strix Halo & Radeon 9700 AI Pro" -
Alapvetően két lehetőségünk van:
-Havidíjas nagy modell használata - az alacsonyabb árkategóriákban még mindig erősen korlátozott mértékben.
-Lokális modellek, a szintjükön "kezelve, használva".
Az igények és lehetőségek határozzák meg a döntést.
A fizetős modellek egyre jobban "bezárnak", "felfele kényszerítve" a rájuk fordított összeget.
A free modellek egyre jobbak. Meglepően jól használhatóak bizonyos esetekben, de nem minden esetben. -
a marketing Sonet vs. Strixhalo Slide -on lévő "36 token/s" -t
-nél nem látom, hogy pontosan milyen LLM modellel és kvantálással mérték. De talán a másik slide-on lévő modellekkel, amelyek ránézésre MoE -s modelleknek tünnek. ( gpt-oss:120b , qwen3.5:122B , qwen3.6:35b , glm4.7-flash:30b )a Qwen3.6:27B -t példáját inkább mint a lokális modellek "minőségi" javulására hoztam fel példának.
> mert Fedora+ROCm 11 tps- t tud
Amúgy MTP -vel valaki már 11 -> 21 tok/s is elérhető.
( persze az MTP a megjósolható dolgokat preferálja és emiatt a programkódoknál extrém elönyös, ellenben a kreativ munkáknál már csak kisebb előny látszik. )"""
MTP + Qwen3.6 27B:
Strix Halo (Framework Desktop, ROCm 7.0.2):
- Q4_K_M: 11.7 → 21.2 tok/s (1.81×)
- Q8_0: 7.4 → 18.1 tok/s (2.44×)MTP+ Qwen3.6 35B-A3B (MoE):
Strix Halo: 49.5 → 69.4 tok/s (1.40×)
"""amúgy
Donato Capitella youtube videója ezzel foglalkozik:
"MTP (Multi-Token Prediction): 2x Faster Token Generation on AMD Strix Halo & Radeon 9700 AI Pro" -
azért remélem pár hónap alatt megtöltik tartalommal.
Addig is inkább:
https://lemonade-server.ai/
https://lemonade-server.ai/marketplace.html
"© 2026 AMD. Licensed under Apache 2.0."
amúgy az MTP támogatást is megoldották már. -
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.
---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
Mire használni, meg hol a helye? Pont erről beszélek, hogy a reklám anyagban összevetik Sonnettel árban, de ezek a kisebbeket nagyon nem egyenértékűek tudásban. És ezt az eltérést nem fogod "konifgurálással" megszüntetni. Vagy akkor mindenki csak béna, aki Claude Code-ot használ, és azon belül is akár inkább megfizeti az Opust.
-
Egy relatíve kis modell is tud "összeszedetten viselkedni", ha jól konfigolod és nem egy lépésben akarod megváltani vele a világot. Ha jól felépíted a feladatot, kis lépésekben és nem nagy CL-el, nem esik szét a modell. A free modellek természetes velejárója, hogy nem tudnak még hosszú kontexusokat egyben kezelni. Ez teljesen természetes, ha azt nézed, hogy egy nagy, "favorit" modell, pl. Chat GPT, Claude, Gemini..stb. mekkora erőforrást használ. Eleve el sem várható egy ilyen kis modelltől még csak hasonló viselkedés sem. Tudni kell a helyén kezelni a free modelleket, és tudni kell megfelelően használni.
Mire használni, meg hol a helye? Pont erről beszélek, hogy a reklám anyagban összevetik Sonnettel árban, de ezek a kisebbeket nagyon nem egyenértékűek tudásban. És ezt az eltérést nem fogod "konifgurálással" megszüntetni. Vagy akkor mindenki csak béna, aki Claude Code-ot használ, és azon belül is akár inkább megfizeti az Opust.
-
Próbálgattam 20-30B körüli modelleket pár hónapja, és nagyon instabilak. Belezavarodnak, hülyeséget csinálnak olyanokban, amit lazán megoldanak a nagyok. Szóval igen, az oszlop magasságok nem érzékeltetik a gyakorlati különbséget.
Egyszerű auto-completere hasznosak a kis modellek is, viszont azok eleve olcsók előfizetéssel is. A összetettebb feladatokban meg továbbra is szűk keresztmetszet a legerősebb modellek értelmi képessége is. Így a 100B körüli kategória esetén nagyon tudnia kell a vevőnek, hogy amit ő csinál, arra az elégséges. Ez a széles tömegeket célzó marketing amit kiadnak magukból ezért nevetséges.
-
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
Az vicces, hogy összevetik a Claude Sonnet költségével a töredék méretű jóval bénább modellekét, amik ezen elfutnak (és gondolom nem túl gyorsan). Szerintük akiket az ilyesmi érdekel, annak ez nem fog leesni...
> a Claude Sonnet költségével a töredék méretű jóval bénább modellekét,
Ahogy látom az AMD
36 token/s ( prefill: 446t/s ) -es lokális modellel számolt.És a szokásos - kisbetűs "Up to" -val kezdődik az állítás,
hogy ne legyen perelhető az állítás.---
amin azért meglepődtem, hogy egyes benchmarkok szerint
a Claude Sonnet4.5 vs. Qwen3.6:27b - már -már fej mellett van.( bár a dense Qwen3.6:27B nem lesz olyan gyors a Strix Halo-n az alacsony mem sávszélesség miatt. )
Amúgy nem fogja kiváltani a legfrisebb Anthropic / OpenAI modelleket.
Bár néhány funkciót ki tud váltani.És ne higyetek a benchmarkoknak !
Beruházás esetén érdemes kipróbálni egy OpenRouteres Qwen3.6:27B -t, hogy tudd, hogy mi vár rá!. -
> Vajon hackerek által összetákolt csomagok lesznek, vagy az AMD végre kiad valami normális package-t.?
ha jól olvastam előre lesz telepítve sok dolog.
"AMD Ryzen AI Halo is built for open frameworks and comes pre-installed with the AMD Ryzen AI Halo Developer Center app, a central hub for developers to easily access playbooks, tools and updates. "
bővebben:
https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html#software -
Még tavaly párat kigyűjtöttem, most visszakerestem a képet is:
Amúgy azóta már NAS is van strix haloval
https://videocardz.com/newz/minisforum-n5-max-nas-with-ryzen-ai-max-395-to-launch-at-2899Ja, hogy te arra gondoltál, hogy sw szinten? Ok, értem. Azt hittem, hogy mivel "eszközt" említettél, vmi hw-re gondoltál..
Ennél olcsóbb jelenleg nem nagyon van. Eu forgalmazó, gar, ebben az árban ingyenes posta is. -
Még tavaly párat kigyűjtöttem, most visszakerestem a képet is:
Amúgy azóta már NAS is van strix haloval
https://videocardz.com/newz/minisforum-n5-max-nas-with-ryzen-ai-max-395-to-launch-at-2899 -
Nem (csak) az a lényeg, hogy előre van-e telepítve, hanem hogy ingyenes, ill. esetleg kompatibilis-e más strix halo eszközökkel. Na meg hogy rendesen működik-e minden része, nem mókolgatni kell.
setup.exe, next, next, next, ok-ot nyomogatni mindenki tud
#10
Gondolom most nem várod el, hogy belinkeljem azt a kb 30-40 strix halo APU-val ellátott eszközt.
-
> Vajon hackerek által összetákolt csomagok lesznek, vagy az AMD végre kiad valami normális package-t.?
ha jól olvastam előre lesz telepítve sok dolog.
"AMD Ryzen AI Halo is built for open frameworks and comes pre-installed with the AMD Ryzen AI Halo Developer Center app, a central hub for developers to easily access playbooks, tools and updates. "
bővebben:
https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html#softwareNem (csak) az a lényeg, hogy előre van-e telepítve, hanem hogy ingyenes, ill. esetleg kompatibilis-e más strix halo eszközökkel. Na meg hogy rendesen működik-e minden része, nem mókolgatni kell.
setup.exe, next, next, next, ok-ot nyomogatni mindenki tud
#10
Gondolom most nem várod el, hogy belinkeljem azt a kb 30-40 strix halo APU-val ellátott eszközt. -
Geller72
veterán
) 
Új hozzászólás Aktív témák
Hirdetés
- Linux Mint
- sziku69: Fűzzük össze a szavakat :)
- Forza sorozat (Horizon/Motorsport)
- Bécs oda-vissza meglehet a Tesla robotaxival
- Kerékpárosok, bringások ide!
- Lalikiraly: Mercis kalandok - Harmincegyedik rész
- Alaposan kitett magáért a Noctua idén is – Computex 2026
- Poco X8 Pro Max - nem kell ide sem bank, sem akkubank
- sziku69: Szólánc.
- Horgász topik
- További aktív témák...
- HP ProDesk 400 G5 SFF, i5-8500,8GB DDR4,256GB NVMe, W11, 1+1 év garancia
- ASUS ROG CSÚCS GAMER PC RTX 4070 Ti OC + i7-12700KF
- iMac 27 Retina 5K 2014 i5 / 24GB RAM / 1TB SSD
- Gamer PC! Rtx 3070/ i5-12400F/32GB RAM/1TB Nvme SSD/Vízhűtés
- CS2 GAMER PC! AMD Ryzen 7 5700X / RTX 3070 / 16GB-32GB DDR4 / 512GB-2TB Nvme / 10+ Féle GPU
- Keresünk iPhone 14/14 Plus/14 Pro/14 Pro Max
- 27% - ÚJ Kingston FURY Beast 64GB (2x32GB) DDR5 5600MHz KF556C36BBEK2-64
- ÚJ - MACBOOK PRO 16" M5 MAX 18C CPU / 32C GPU / 36 GB RAM / 2TB + ÁFÁ-s
- 291 - Lenovo Legion 9 (18IAX10) - Intel Core U9 275HX, RTX 5080
- Apple MacBook Air M1 (2020) 8GB/256GB SSD szép állapotú 88% akku 231 ciklus
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft.
Város: Budapest