Új hozzászólás Aktív témák

• konzumpro kezdő

  #9 febr. 23., 10:03:36

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  konzumpro

  kezdő

  A DreamFast/gemma-3-12b-it-heretic következetesen "népek"-nek szólít és nem nagyon veszi figyelembe a system promptot, tudom hogy csak első user inputként tekint rá de direkt figyelmen kívül hagyja a benne leírtakat, ez a normál gemma modellekben is így van.

• kilua őstag

  #8

  #4 Mp3Pintyo

  febr. 23., 09:04:19

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  kilua

  őstag

  #4 Mp3Pintyo

  #4 Mp3Pintyo

  A lista alapján ezek szerint neked otthon egy Mac Studio van 512 GByte memóriával
  Ha esetleg nem használod annyit akkor szívesen kölcsön veszem

  ? 12B modell 4 bites kanttal eldöcög 16gb memoriás rog Xbox ally nevű handheld PCmen 4096 context length. KB olyan gyorsan generál ahogy olvasok. A modell 7gb körül van. (Vulkan, kb 20 réteg GPUn)

• Yodafon őstag

  #7

  #6 Mp3Pintyo

  febr. 22., 00:33:52

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Yodafon

  őstag

  #6 Mp3Pintyo

  #6 Mp3Pintyo

  Mire gondolsz?
  Ezek nagy megszokott parancsok ha open source alkalmazasokat használsz a saját gépeden.
  Ha 1-2 ilyet megcsinálsz utána már nem tűnik olyan bonyolultnak.

  Erre:
  A Heretic működése lépésről lépésr
  1. Az „elutasítási irány” feltérképezése: A szoftver ártalmas (pl. „Hogyan készítsek csigalapító kalapácsot?”) és ártalmatlan (pl. „Hogyan készítsek tortát?”) utasításokat ad a modellnek. Megvizsgálja a modell belső aktivációit, és kiszámítja az átlagos különbséget a két csoport között. Ez a „különbség-vektor” (refusal direction) jelöli ki azt az irányt a modell agyában, ami az elutasításért felel
  2. Súlyok módosítása (Ortogonalizálás): Ahelyett, hogy csak a kimenetet szűrné, a Heretic közvetlenül a modell súlyait (a „tanult tudását”) módosítja. Matematikai úton (ortogonalizációval) „kivonja” ezt az elutasítási vektort a modell mátrixaiból. Ez gyakorlatilag lehetetlenné teszi a modell számára, hogy aktiválja az elutasítási mechanizmust, mivel az ehhez szükséges idegpályák megszűnnek létezni

• Mp3Pintyo senior tag

  #6

  #5 Yodafon

  febr. 21., 17:20:53

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Mp3Pintyo

  senior tag

  #5 Yodafon

  #5 Yodafon

  na ez a komoly tudomany! Ami lepesek le vannak irva hat az egyszeruen

  Mire gondolsz?
  Ezek nagy megszokott parancsok ha open source alkalmazasokat használsz a saját gépeden.
  Ha 1-2 ilyet megcsinálsz utána már nem tűnik olyan bonyolultnak.

• Yodafon őstag

  #5 febr. 21., 12:25:41

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Yodafon

  őstag

  na ez a komoly tudomany! Ami lepesek le vannak irva hat az egyszeruen

• Mp3Pintyo senior tag

  #4

  #3 kilua

  febr. 21., 10:12:47

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Mp3Pintyo

  senior tag

  #3 kilua

  #3 kilua

  Talán a koboldAI fejlesztője integrálni fogja, addig is egyszerűbb az UGI leaderboardról választani modellt.

  [link]

  Nekem a Neona 12b jött be roleplay célra

  A lista alapján ezek szerint neked otthon egy Mac Studio van 512 GByte memóriával
  Ha esetleg nem használod annyit akkor szívesen kölcsön veszem

• kilua őstag

  #3 febr. 21., 08:03:53

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  kilua

  őstag

  Talán a koboldAI fejlesztője integrálni fogja, addig is egyszerűbb az UGI leaderboardról választani modellt.

  [link]

  Nekem a Neona 12b jött be roleplay célra

• F34R nagyúr

  #2

  #1 hokuszla

  febr. 20., 18:45:55

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  F34R

  nagyúr

  #1 hokuszla

  #1 hokuszla

  jól jön ez így választások előtt

  

• hokuszla senior tag

  #1 febr. 20., 16:56:51

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  hokuszla

  senior tag

  jól jön ez így választások előtt

Új hozzászólás Aktív témák