Kimi K2.7 Code: nyílt súlyú, programozási feladatokra optimalizálva

Legfrissebb anyagok

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

LOGOUT témák

Új hozzászólás Aktív témák

freeapro senior tag

#4
#3 Mp3Pintyo
jún. 16., 16:42:18

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

freeapro

senior tag

#3 Mp3Pintyo

#3 Mp3Pintyo
Pl ez a modell nagyon jó: MiMo-V2.5-NVFP4
Eredeti nem kvantált:
https://huggingface.co/XiaomiMiMo/MiMo-V2.5
Architecture: Sparse MoE (Mixture of Experts), 310B total / 15B activated parameters

Megnéztem mikor készültek a modellek, amiket használok. A GPT-OSS-120b és a QWEN3-235B-A22B is mind 1 évnél régebbi modellek.
A xiaomi modellt majd kipróbálom, de most a DeepSeek V4 flash-el küzdök. Valamiért az MTP nem megy. A clusteres megoldást is ki akarom próbálni (Q4 miatt) a roszabb TB hálózattal.
Mp3Pintyo senior tag

#3
#1 freeapro
jún. 16., 16:00:45

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Mp3Pintyo

senior tag

#1 freeapro

#1 freeapro
Klasszak ezek a >1TB modellek, csak nem tudom min futnak. Csak én érzem úgy, hogy a 100-200B kategória ami az 128GB-os AI PC-ken futna, az durván el van hanyagolva?

Pl ez a modell nagyon jó: MiMo-V2.5-NVFP4
Eredeti nem kvantált:
https://huggingface.co/XiaomiMiMo/MiMo-V2.5
Architecture: Sparse MoE (Mixture of Experts), 310B total / 15B activated parameters
Mp3Pintyo senior tag

#2
#1 freeapro
jún. 16., 15:59:36

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

Mp3Pintyo

senior tag

#1 freeapro

#1 freeapro
Klasszak ezek a >1TB modellek, csak nem tudom min futnak. Csak én érzem úgy, hogy a 100-200B kategória ami az 128GB-os AI PC-ken futna, az durván el van hanyagolva?

Nagyon sok modell jelenik meg abban a méretben is. Illetve ha nem kvantálod a kv cachet és a modellt akkor egy 35-ös modellnek is kell a hely
freeapro senior tag

#1 jún. 16., 15:40:52

Új Válasz
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

freeapro

senior tag

Klasszak ezek a >1TB modellek, csak nem tudom min futnak. Csak én érzem úgy, hogy a 100-200B kategória ami az 128GB-os AI PC-ken futna, az durván el van hanyagolva?