Új hozzászólás Aktív témák

• #1400 S_x96x_S addikt S_x96x_S #1399

  Új Válasz 2024-11-14 19:16:11 #1400

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz S_x96x_S #1399 üzenetére

  És egy 28GB -os modell ; csak 1.55 token/sec
  cpu mód:
  """
  # ollama run gemma2:27b-instruct-q8_0 --verbose
  >>> hello
  Hello! 👋
  How can I help you today? 😊
  total duration: 26.185456189s
  load duration: 72.464752ms
  prompt eval count: 10 token(s)
  prompt eval duration: 17.71s
  prompt eval rate: 0.56 tokens/s
  eval count: 13 token(s)
  eval duration: 8.372s
  eval rate: 1.55 tokens/s
  """
  ( Minisforum UM790 Pro - Ryzen 9 7940HS - 32 GB DDR5 RAM )

  Persze kinek mire kell;
  de a nagy modellek sebessége egyre csak csökken és nem árt a memória sávszélesség.
  emiatt a CPU módot hamar ki lehet nőni ...

Új hozzászólás Aktív témák