Elképesztő mértékben tömörítenék be a nagy nyelvi modelleket

A spanyol Multiverse Computing akár 95 százalékkal is be tudja tömöríteni az LLM-eket, a költségeket pedig 80 százalékkal is csökkentheti.

Hirdetés

Második körben 189 millió eurónyi tőkét sikerült a spanyol Multiverse Computing AI-cégnek bevonni különleges, nagy nyelvi modellek tömörítésére kidolgozott eljárásának továbbfejlesztésére. A vállalat állítása szerint megoldásuk akár 95 százalékkal is képes csökkentni az LLM-ek méretét, anélkül, hogy azok teljesítménye romlana, ezzel pedig akár 80 százalékos költségmegtakarítás is elérhető lehet. Ezzel egyébként a Multiverse a legnagyobb spanyol AI-startup, és több európai AI-cég is támogatja (köztük a Mistral).

A csapat megoldása a kvantumfizikából és a gépi tanulásból merített ötleteket, állítólag a kvantumrendszereket idézi, de kvantumszámítógépet nem igényel. Tettek már elérhetővé tömörített Llama, DeepSeek és Mistral LLM-et is, a cég vezetője szerint a leginkább használt, nyílt forráskódú LLM-ekre építenek, amiket a cégek használnak.Azt mondják, ha elmegyünk a cégekhez, a legtöbb Meta Llama modelleket használ.

Előzmények