Új hozzászólás Aktív témák

• #51034 Raymond titán yarsley #51031

  Új Válasz 2025-04-10 18:13:02 #51034

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz yarsley #51031 üzenetére

  Mindegy lesz ennel a kartyanal szerintem. Messze a legolcsobb 16GB NV kartya es most a savszel is eleg ahhoz hogy a VRAM-ba belefero LLM+KV$+ctx olyan 25-30 tok/s generaljon. Kettobe pedig a Qwen2.5 32B es Gemma3 27B belefer Q6-al a Mistral 24B pedig Q8-al is es azok is elmennek 15 tok/s korul "csupaszon" es 25-30-al ha van draft modell is. A Deepseek R1 Distill verzioi 32B meretben is OK, a QwQ 32B is ugyan belefer, de 15 tok/s azert ott lehet valakinek az idegeire menne mert bonyolultabb valaszoknak 10-15K token is megvan a "gondolkodas" es hat 10-15 percet varni a valaszra nem az igazi.

• #51032 Yutani nagyúr yarsley #51031

  Új Válasz 2025-04-10 16:55:13 #51032

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Yutani

  nagyúr

  válasz yarsley #51031 üzenetére

  Ezen a charton a 7700XT és a 6800XT közé várhatjuk raszterben. RT-ben 7900GRE körül, 4070 nem lesz meg.

Új hozzászólás Aktív témák