Új hozzászólás Aktív témák

• #63 lezso6 HÁZIGAZDA etomcat #62

  Új Válasz 2025-02-26 19:44:49 #63

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz etomcat #62 üzenetére

  Az AI azért készült, hogy elterelje az emberiség figyelmét mindarról, amit itt leírtál.

• #58 lezso6 HÁZIGAZDA Robitrix #55

  Új Válasz 2025-02-10 12:25:27 #58

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Robitrix #55 üzenetére

  Mert az online ChatGPT az egy teljes modell, ami iszonyat számítási kapacitást igényel, mert több száz vagy ezer gigabájtos. Míg én a DeepSeek legbutább disztillált változatát futtattam, amit még egy Rasberry Pi is képes használható sebességgel futtatni, mert mindösszesen kb 1.1 GB az egész.

• #49 lezso6 HÁZIGAZDA Geri Bátyó #48

  Új Válasz 2025-01-31 17:46:42 #49

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Geri Bátyó #48 üzenetére

  De azokban nincs IGP. Ebben újítana a Strix Halo. Eddig legfeljebb valami AMD Instinct cuccot vehettél elképzelhetetlenül horror áron, de azok is megállnak asszem 128GB-nál.

• #47 lezso6 HÁZIGAZDA Raymond #45

  Új Válasz 2025-01-31 17:15:49 #47

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Raymond #45 üzenetére

  Hát, 128 GB után az 512GB RAM lenne az igazi, hogy a 300-500 GB-os modellek beleférjenek. 100-300 GB közöttit nem láttam, vagy legalábbis kevés lehet belőle.

• #44 lezso6 HÁZIGAZDA Geri Bátyó #43

  Új Válasz 2025-01-31 15:25:46 #44

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Geri Bátyó #43 üzenetére

  Háló-háló! AMD Strix Halo!

• #26 lezso6 HÁZIGAZDA Cefet #25

  Új Válasz 2025-01-30 15:53:52 #26

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Cefet #25 üzenetére

  Az OpenAI-t Guantanamóról kérdeztem, rendesen válaszolt is.

• #24 lezso6 HÁZIGAZDA tlac #21

  Új Válasz 2025-01-30 15:47:10 #24

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz tlac #21 üzenetére

  Ha nem fér bele a VRAM-ba a modell, akkor a CPU-n futtatja, de próbál offloadolni GPU-ra. Ennek hatékonyságát nem mértem még le, de valószínűleg kb nullát ér, legalábbis a 70B modellt futtatva a GPU-t csak néha-néha terhelgetni.

  Nálam van még egy RTX A2000 Ada 8 GB, ami gyakorlatilag az RTX 4060 profi változata laptopba, 35 wattból. Szóval nem valami erős. A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség.

• #18 lezso6 HÁZIGAZDA DarkByte #16

  Új Válasz 2025-01-30 14:39:57 #18

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz DarkByte #16 üzenetére

  Valamikor magyarul gondolja végig. Illetve a 70B-nél kisebb modellek már magyarul se igazán tudnak, sőt néha beköszön egy-egy kandzsi is. A legkisebb 1.5B pedig már amolyan Temuról rendelt ChatGPT, teljesen értelmezhetetlen a magyarja:

  

  De legalább gyors.

• #15 lezso6 HÁZIGAZDA tlac #12

  Új Válasz 2025-01-30 14:26:01 #15

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz tlac #12 üzenetére

  Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.

  Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.

  szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.

• #8 lezso6 HÁZIGAZDA Z_A_P #7

  Új Válasz 2025-01-30 13:24:18 #8

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz Z_A_P #7 üzenetére

  Nem, már csak azért sem, mert 4 csatornás memóriája van, az is LPDDR5X.

• #2 lezso6 HÁZIGAZDA

  Új Válasz 2025-01-30 12:30:23 #2

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  Jó lenne ha ez versenyt generálna.

Új hozzászólás Aktív témák