Új hozzászólás Aktív témák

• ddekany nagyúr

  #7 aug. 10., 15:28:04

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  ddekany

  nagyúr

  Ez ami ráfért egyetlen chippre, egy 3b/6b quantitized Llama 3.1 8B, aminek pontos méretét nem tudjuk, de tippeljük mondjuk 6GB-re. Akkor egy közepes (700B) modellenek FP8-on kb. 87 ilyen chip kell, míg egy Kimi K3-nak (2.8T, 96 réteg, 16+2 expert) kb 466 db ilyen chip (mind egyedi), amiken remélhetően csak hatákonyan egy irányba kereszülfolyik a számítás. Ahhoz fontos, hogy egy expert egy layer-re teljes egészében beleférjen egy chipbe, különben keződik a oda-vissza komminukálós kavar. Ja, és minden egyes chipbe bele kell férjen az adott réteghez tartozó KV Cache is, amit ugyancsak a chipben, SRAM-ban tárolnak. Tekintetel az SRAM fizikai méretére, hát... számolja ki ak tudja, de talán nem blokkoló gond.

  Amúgy állítólag nem teljesen fix a model, mert némi LoRA-s jellegű hangolásra lehet benne hagyni lehetőséget.

Új hozzászólás Aktív témák