Új hozzászólás Aktív témák

• #7 MasterDeeJay veterán Raymond #6

  Új Válasz 2024-02-15 10:44:43 #7

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  MasterDeeJay

  veterán

  LOGOUT blog (1)

  válasz Raymond #6 üzenetére

  Stable diffusionnal szórakoztam, procis, cuda és intel féle openvino verzióval de leginkább cuda-val volt gyors.
  Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó. Openai-t használom felhőből gpt-3.5-fast de valami megközelítőleg hasonlót akarnék localba. Ahogy tudom a 3.5fast az 20b (skyrim AI-hoz)
  Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
  Tegnap próbának koboltcpp-t használtam 7b teljesen jól fut, 30b már lassú igaz nocuda módban (A770 16gb + 18 mag 4.5ghz, 128gb ddr4 4000 ramokkal). Most pont nincs modern cuda képes erősebb kártyám csak régi teslák de tervben van valami modernebb.
  Meg szeretném ismeri amennyire csak lehet mert iszonyat sok lehetőséget látok benne játékok terén. [link]
  A gond ugye az hogy prociból lassú, videókari meg a játékot futtatja bár nincs 100%-on de vramot megzabálja a játék így az kiesik. Második kártya kell majd. Meg van még egy audio-text oda vissza (xavsynth) azzal még nem foglalkoztam.

Új hozzászólás Aktív témák