Új hozzászólás Aktív témák

• #2 Mp3Pintyo senior tag freeapro #1

  Új Válasz 2025-10-13 10:36:35 #2

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  senior tag

  válasz freeapro #1 üzenetére

  A videóban elmondom miért ilyen kicsi a különbség. Azért mert a TensorRT-LLM ereje akkor jön elő ha több GPU-s rendszeren használod és rengeteg felhasználó próbálja elérni egyszerre a kiszolgáló szervert.
  A videóban inkább azt mutatom be és tettem is elérhetővég a GitHubon, hogy ha ilyen modellt szeretnél használni akkor milyen lépéseken kell végigmenni.

• #1 freeapro senior tag

  Új Válasz 2025-10-12 13:09:19 #1

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  freeapro

  senior tag

  A bevezetőben azt mondod, hogy ezzel kisebb és gyorsabb modellek készíthetőek, de ezt nem fejted ki. Csak egyszer van egy LM Studiós összehasonlítás, ahol pár T/s a különbség. A kérdésem, hogy hogy van bármilyen modell (méret) ami ezzel használhatóvá válik egy 24GB VGA-n, ami LM Studióval vagy ollama-val használhatatlan?

Új hozzászólás Aktív témák