Új hozzászólás Aktív témák

• #11 MasterDeeJay veterán Raymond #10

  Új Válasz 2024-02-15 12:09:51 #11

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog

  válasz Raymond #10 üzenetére

  A 170HX az egy GPU, nincs asztali megfelelője. GA100-ra épül erősen csonkítva. [link]
  
  A 8Gb-os modellen esélyes hogy nem csak 16Gb van hanem több. A 10Gb-os modell lehet a 20Gb-os.

• #9 MasterDeeJay veterán Raymond #8

  Új Válasz 2024-02-15 11:37:02 #9

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog

  válasz Raymond #8 üzenetére

  P40 még nincs meg (igen a 24gb-osat néztem). Most csak kicsik vannak (K20, C2075) de azok régiek. Illetve egy nagy batár AMD V540-es (kb 5700XT 2x8GB HBM2 rammal) de az ugye nem cuda képes és egy kályha.
  P4-esem volt de az nem volt egy erőgép viszont alig kellett hűteni. M40-est is sokáig használtam.
  Lett volna egy P102-100 10Gb de meghalt hamar, korábban volt P104-100 azzal is elvoltam. (mindkettőnél lehetett szoftveresen unlockolni a vramot 4-8-ra és 5-ről 10-re)
  Igazából valami nagyobb modern kellene olyan max 100-120eft körül, azért gondoltam a 90HX-re mert az már RTX3xxx gen bár csak 10Gb vrammal. Bányász kártyákat szórják ki, teslák lenneének még jók de hűtést kell hozzá építeni. Hozzáteszem van egy álomkártyám amit vennék szívesen de még drága és arra is kell hűtés. 170HX [link](ez azért is érdekes mert esélyes hogy itt is fel lehet oldani az extra ramot) [link] (van rá 16gb-os bios)
  Az inteles A770 elvileg elég erős lenne ha támogatná valami. Ez alapján próbálom belőni melyik milyen erős mert nem nagyon találok rendes teszteket ilyenre és a játéktesztek nem mérvadóak. A770 opencl-ben elég jó, a 16Gb ram 512gb/s sávszél pont ideálissá tenné ilyenre.
  Ramsávszél számít azt tudom, proci oldalon is van 100Gb+ ami nem sok de procihoz képest nem kevés. Ha lenne normálisan AMD támogatva akkor vennék valami 16gb-os HBM2-es olcsó amd MI kártyát. De legtöbb progi cuda-ra van.
  P40 power limit érdekes, ha lesz olyan megnézem mert lehetne így gyengébb hűtéssel is használni.

• #7 MasterDeeJay veterán Raymond #6

  Új Válasz 2024-02-15 10:44:43 #7

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog

  válasz Raymond #6 üzenetére

  Stable diffusionnal szórakoztam, procis, cuda és intel féle openvino verzióval de leginkább cuda-val volt gyors.
  Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó. Openai-t használom felhőből gpt-3.5-fast de valami megközelítőleg hasonlót akarnék localba. Ahogy tudom a 3.5fast az 20b (skyrim AI-hoz)
  Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
  Tegnap próbának koboltcpp-t használtam 7b teljesen jól fut, 30b már lassú igaz nocuda módban (A770 16gb + 18 mag 4.5ghz, 128gb ddr4 4000 ramokkal). Most pont nincs modern cuda képes erősebb kártyám csak régi teslák de tervben van valami modernebb.
  Meg szeretném ismeri amennyire csak lehet mert iszonyat sok lehetőséget látok benne játékok terén. [link]
  A gond ugye az hogy prociból lassú, videókari meg a játékot futtatja bár nincs 100%-on de vramot megzabálja a játék így az kiesik. Második kártya kell majd. Meg van még egy audio-text oda vissza (xavsynth) azzal még nem foglalkoztam.

• #5 MasterDeeJay veterán

  Új Válasz 2024-02-15 09:20:58 #5

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog

  Sok alternatíva van, sok száz ha nem ezer modellel. CUDA, OpenCL, CPU... gyorsítással. Van miből válogatni. Vannak kifejezetten kezdőknek egyszerűen beállíthatóak (pl gpt4all, koboldcpp ami egy darab exe és a modell)
  Szóval az csak marketing korlátozás hogy RTX30-40 kell ilyenhez.
  Ahogy olvastam a LLaMa 2 13B AWQ 4bit quantized modellt használja de javítsatok ki ha tévedek.

Új hozzászólás Aktív témák