- Hobby elektronika
- Milyen joysticket vegyek?
- 3D nyomtatás
- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- AMD Navi Radeon™ RX 5xxx sorozat
- NVIDIA GeForce RTX 5060 Ti (GB206)
- Amlogic S905, S912 processzoros készülékek
- Nvidia GPU-k jövője - amit tudni vélünk
- Soundbar, soundplate, hangprojektor
- Sugárhajtómű ihlette a Zalman CPU-hűtőjét, de nem az üzemzaj tekintetében
Új hozzászólás Aktív témák
-
Mert az online ChatGPT az egy teljes modell, ami iszonyat számítási kapacitást igényel, mert több száz vagy ezer gigabájtos. Míg én a DeepSeek legbutább disztillált változatát futtattam, amit még egy Rasberry Pi is képes használható sebességgel futtatni, mert mindösszesen kb 1.1 GB az egész.
-
#49
lezso6
HÁZIGAZDA
Geri Bátyó
#48
válasz
Geri Bátyó
#48
üzenetére
De azokban nincs IGP. Ebben újítana a Strix Halo. Eddig legfeljebb valami AMD Instinct cuccot vehettél elképzelhetetlenül horror áron, de azok is megállnak asszem 128GB-nál.
-
#44
lezso6
HÁZIGAZDA
Geri Bátyó
#43
válasz
Geri Bátyó
#43
üzenetére
Háló-háló! AMD Strix Halo!
-
Ha nem fér bele a VRAM-ba a modell, akkor a CPU-n futtatja, de próbál offloadolni GPU-ra. Ennek hatékonyságát nem mértem még le, de valószínűleg kb nullát ér, legalábbis a 70B modellt futtatva a GPU-t csak néha-néha terhelgetni.
Nálam van még egy RTX A2000 Ada 8 GB, ami gyakorlatilag az RTX 4060 profi változata laptopba, 35 wattból. Szóval nem valami erős.
A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség. -
-
Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.
Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.
szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.
-
Jó lenne ha ez versenyt generálna.
A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség.
A legkisebb 1.5B pedig már amolyan Temuról rendelt ChatGPT, teljesen értelmezhetetlen a magyarja:
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
- Diablo IV
- Bittorrent topik
- Real időjárásjelentés
- Hobby elektronika
- Forza sorozat (Horizon/Motorsport)
- Kertészet, mezőgazdaság topik
- Milyen joysticket vegyek?
- gban: Ingyen kellene, de tegnapra
- Autós topik látogatók beszélgetős, offolós topikja
- Motorola Edge 60 és Edge 60 Pro - és a vas?
- További aktív témák...
- Bomba ár! HP ProBook 450 G10 - i5-1335U I 16GB I 256SSD I 15,6" FHD I Cam I W11 I Garancia!
- Felújított számítógépek/merevlemezek Számlával, garanciával! Ingyen Foxpost!
- Bomba ár! HP EliteBook Folio 1040 G2 - i5-G5 I 8GB I 256GB SSD I 14" HD+ I Cam I W10 I Garancia!
- BESZÁMÍTÁS! Asus B760M i7 12700KF 32GB DDR4 512GB SSD RX 6800 16GB Rampage SHIVA FSP 700W
- Csere-Beszámítás! RGB Számítógép PC játékra! R5 5600X / RTX 3060Ti 8GB / 32GB DDR4 / 500GB SSD
Állásajánlatok
Cég: Promenade Publishing House Kft.
Város: Budapest
Cég: CAMERA-PRO Hungary Kft
Város: Budapest