Új hozzászólás Aktív témák

• #1399 S_x96x_S addikt Lokarson #1395

  Új Válasz 2024-11-14 19:03:22 #1399

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Lokarson #1395 üzenetére

  > A 780M-re még nincs rendes GPU támogatás? (Ezt is néztem egyébként.)

  Amire nekem eredetileg kellet ( linux-os tesztelésre - CPU ) arra tökéletes,
  de LLM-re nem éppen az ideális.
  És még csak phoneix -es, vagyis max 16GB VRAM-ot lehet lefoglalni a BIOS-ban,
  hiába teszel bele 64Gb vagy 96 GB-ot.
  Az NPU -ja is elég gyenge 10 TOPS - körüli, és még mindig nincs rendes NPU driver hozzá
  ( talán tavaszra az ubuntu 25.04 -hez elkészül )

  CPU mód - ahol nincs limitálva a max 16GB VRAM ollama v0.4.1 -el ;
  qwen2.5:32b (19GB) ; teszt

  működik, de lassú ~ 3 token/sec

  """
  # ollama run qwen2.5:32b --verbose
  >>> hello
  Hello! How can I assist you today? Feel free to ask me anything or let me know if you need help with something specific.
  total duration: 13.469038112s
  load duration: 20.152589ms
  prompt eval count: 30 token(s)
  prompt eval duration: 3.839s
  prompt eval rate: 7.81 tokens/s
  eval count: 28 token(s)
  eval duration: 9.293s
  eval rate: 3.01 tokens/s
  """

  És egy kisebb modell : llama3.2:3b ( 2.0 GB ) ~ 10x gyorsabb.
  """
  # ollama run llama3.2:3b --verbose
  >>> hello
  Hello! How can I assist you today?
  total duration: 703.077948ms
  load duration: 12.920342ms
  prompt eval count: 26 token(s)
  prompt eval duration: 338ms
  prompt eval rate: 76.92 tokens/s
  eval count: 10 token(s)
  eval duration: 350ms
  eval rate: 28.57 tokens/s
  """

  - majd GPU módban is igyekszem tesztelni ( valamikor )
  - és talán zen4 - optimalizált CPU fordítást is kipróbálok ( valamikor )

  ----------------
  Az újabb Strix-esek jobbak lesznek:
  "AMD Strix Point APUs Upgraded To Support Faster LPDDR5X-8000 Memory, Same For Krackan Point, Strix Halo To Get 96 GB Memory"

• #1396 Mp3Pintyo HÁZIGAZDA Lokarson #1395

  Új Válasz 2024-11-14 18:02:32 #1396

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz Lokarson #1395 üzenetére

  Heti néhány órára sokkal inkább javaslom a Runpodot ahol kibérelsz egy 3090-es kártyát.
  150 Ft / óra

Új hozzászólás Aktív témák