Új hozzászólás Aktív témák

• #64 ddekany veterán LordX #59

  Új Válasz 2024-01-25 08:40:10 #64

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz LordX #59 üzenetére

  A következő token legeneráláshoz kell, hogy az előző már a kimenet végén legyen, szóval nem tudom miféle batch-eléssel úsznák meg, hogy az egész modelt be kelljen darabokban tölteni újra és újra a RAM-ba (mivel az egész egyben nem fér bele) tokenenként.

  Persze az a mostani LLM-ek működési elvére vonatkozik, de az MS is nyilván csak azzal számol.

• #61 ddekany veterán LordX #60

  Új Válasz 2024-01-25 06:43:03 #61

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz LordX #60 üzenetére

  A Gemini Nano modellek futnak rajta, amiből a nagyobb is csak 3,25 milliárd paraméteres, és nem arra vannak, hogy kötetlenül beszélgess velük, mint a ChatGPT-vel (amiből 4-es sokszáz milliárd paraméteres lehetett mikor kijött). Plusz nem kell tisztán CPU-n futnia, hiszen van NPU (TPU) abban a SoC-ban, meg persze GPU-is.

• #57 ddekany veterán LordX #56

  Új Válasz 2024-01-24 08:06:42 #57

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz LordX #56 üzenetére

  Valóságban ez abszurdan lassú lenne, meg sokat fogyasztana, ha minden egyes token legenerálásánál ennyi adatot mozgatsz SSD-ről RAM-ba. Szóval erre tuti nem számol az MS.

• #55 ddekany veterán

  Új Válasz 2024-01-22 11:56:26 #55

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  Ha valaki azt hitte volna helyben fog valami Bing Chat szerűséget (vagy inkább jobbat) futtatni... GPT-4 az sok száz GB lehet. Bár sokat fejlődtek a szükséges paraméterek számának csökkentése terén azóta, de azért a 16 GB az továbbra is bőven kevés ilyesmire, és persze még másnak is kéne RAM. Mondjuk az vicces lenne, hogy 128 GB RAM a követelmény (az már reális lehet), de ezt szinte mind a Copilot fogja.

Új hozzászólás Aktív témák