Új hozzászólás Aktív témák

• #64 ddekany veterán LordX #59

  Új Válasz 2024-01-25 08:40:10 #64

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz LordX #59 üzenetére

  A következő token legeneráláshoz kell, hogy az előző már a kimenet végén legyen, szóval nem tudom miféle batch-eléssel úsznák meg, hogy az egész modelt be kelljen darabokban tölteni újra és újra a RAM-ba (mivel az egész egyben nem fér bele) tokenenként.

  Persze az a mostani LLM-ek működési elvére vonatkozik, de az MS is nyilván csak azzal számol.

Új hozzászólás Aktív témák