Új hozzászólás Aktív témák

• #13 Raymond titán tlac #12

  Új Válasz 2025-01-30 14:16:06 #13

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz tlac #12 üzenetére

  Az hogy CPU-n vagy GPU-n fut nem a modelltol fugg hanem az inference engine-tol, tehat megy CPU-n is. DDR5-6400 mellett a 8B Q4_K_M elmegy olyan 10 tok/s a gyakorlatban ami ha turelmes vagy akkor OK, de nem eppen kellemes sebesseg.

Új hozzászólás Aktív témák