2. Fórumok
  3. Egyéb hardverek
  4. Jövőre telefonon futtatná a Meta nagy nyelvi modelljét a Qualcomm
Keresés

Új hozzászólás Aktív témák

  • #12 ddekany nagyúr haxiboy #11
    Új Válasz #12
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    ddekany

    nagyúr

    válasz haxiboy #11 üzenetére

    Annyira nem eszik forrón a kását. Egy igazi ChatGPT 4-hez sokszáz giga (talán terra) VRAM-ot igényel, és brutál A100-asokon sem fürge. A szénné optimalizálás kategóriában a csúcs amiről kb. hihető/objektív tesztet láttam, az a 13 milliárd paraméteres Orca (még a zárt változata), ami azt hiszem FP16 volt, szóval akkor 26G VRAM. Azt talán ChatGPT 3.5 szint (ami kb 180 milliárd paraméteres FP16, tehát ahhoz képest viszont durva tömörödés). És a ChatGPT 3.5 gyakorlatban még nem túl hasznos, kb. csak tech demó. A ChatGPT 4-re is bőven ráférne még az okosodás, és attól még hízni fog az alap (vagy kevésébé lesz zömíthető). Ja, és belső dialógus még nincs, rendes külső memória integráció sincs, szóval az egész "Chat" széria kb. GAI alkatrész demó. A belső dialógus és még egy és más hiányzik még, és ebből csak a belső dialógussal már irgalmatlan lassú lenne szerveren is.

    Na most nem állítom, hogy 10-20 év múlva nem fog elférni valami nálunk okosabb zsebben... Bár szvsz az halál, mert hát ennyi kontrollálhatatlan majom egy rakás Einsteinnel a zsebében nem fér meg egy bolygón.

Új hozzászólás Aktív témák