- Megjött a Razer DeathAdder egerek legfrissebb nemzedéke
- Ismét minimalista miditorony érkezett a Fractal Design műhelyéből
- Alakul a SpaceX Starlink európai ellenfele
- Digital Fingerprinting: Így buktat le a böngésződ a neten - Tech Percek #18
- Prezentálta PCI Express 6.0-s SSD-vezérlőjét a Silicon Motion
Új hozzászólás Aktív témák
-
consono
nagyúr
Hát, mondjuk log pattern analizálásra gondoltam. Én privátban tényleg leginkább csak RAG-ra használtam kis modellt, arra tényleg jó, meg dokumentumokat összefoglalni pár kulcsszóra, arra is meglepően jó volt a gemma2:2b ollama-val. (Én rossz szokásként Notepad++-ba írok be mindent, amivel dolgozom, de sajnos rendetlen vagyok, van 2-300 nyitott file-om benne mindig, arra kezdtem el search engine-t írni, hogy megtaláljam mi hol van
De a POC óta nem volt időm foglalkozni vele. Persze, jobb lenne átszokni mondjuk Obsidian-ra, de az nálunk céges környezetben nincs engedélyezve).
-
ddekany
veterán
-
ddekany
veterán
Az LLM-ek alkalmazhatóságának fő korlátja, hogy nincs meg a józan eszük (common sense), és úgy általában mentálisan instabilak, nem jók önkorrekcióban. Ami a kis modelleket illeti, jelenleg nem tudunk olyat, hogy a "józan esze" (ami szakmai ismeretet meg műveltséget nem igényel) legyen olyan mint a nagy modellé, de aztán megtakarítunk paramétereket azon, hogy azon felül csak egy szűk szakami területet ismer. A kis model úgy általában beszámíthatatlanabb lesz, hiába kíméled meg a sok felesleges tudástól.
-
Robitrix
senior tag
Bőven van területe a kisebb modelleknek is. Számos területen hoznak létre kisebb szakmai AI-kat. Mondjuk egy orvosi területen müködő AI-nak az orvosi szak cikkek és publikációk anyagaiban kell jeleskedni. Nem feltélenül a régészeti szak anyagokban. Így azokhoz kisebb modellek és kisebb hardver is elégséges. Pár hónapja olvastam, hogy akkoriban már úgy 200 körülire becsülték a létre hozott AI-kat. Azóta lehet, hogy már van vagy 300 is... Vélhetően dinamikusan nővekedik a számuk. A világban. Főleg ha képes lesz kezelni azokat hardverileg egy erős munkaállomás vagy szerver is. Aztán pár 10 vagy 100 ezer dollárból alá lehet rakni az elégséges hardvert. És akkor tömegesen képesek lesznek cégek is saját AI-kat építeni és üzemeltetni.
-
ddekany
veterán
Több mint egy éve már felkerült ez az arxiv-ra (CompactifAI: Extreme Compression of Large Language Models using Quantum-Inspired Tensor Networks). Ha hozná amit ígér, már sokat halottunk volna róla (azok, akik követik a szakmának szóló AI-s híreket).
-
kilua
senior tag
Új kvantálási megoldás? Akkor ezzel lehet értelmesen futtatni 20b modelleket telefonon?
Cégek mire használják a láma/deekseek modelleket?
Új hozzászólás Aktív témák
Hirdetés
- Vírusirtó, Antivirus, VPN kulcsok
- 27%-OS ÁFÁS SZÁMLA I Jogtiszta Microsoft digitális és fizikai termékek I DIGITALKEYZ.COM
- Microsoft licencek KIVÉTELES ÁRON AZONNAL - UTALÁSSAL IS AUTOMATIKUS KÉZBESÍTÉS - Windows és Office
- Játékkulcsok olcsón: Steam, Uplay, GoG, Origin, Xbox, PS stb.
- Assassin's Creed Shadows Collector's Edition PC
- Telefon felvásárlás!! iPhone 14/iPhone 14 Plus/iPhone 14 Pro/iPhone 14 Pro Max
- Huawei Nova Y90 128GB, Kártyafüggetlen, 1 Év Garanciával
- BESZÁMÍTÁS! Gigabyte B650M R7 7700 32GB DDR5 1TB SSD RTX 5070 12GB BE QUIET! Pure Base 500DX 650W
- Bomba ár! HP Elitebook 850 G3 - i7-6GEN I 16GB I 256GB SSD I RadeonI 15,6" FHD I Cam I W11 I Gari!
- Felújított számítógépek/merevlemezek Számlával, garanciával! Ingyen Foxpost!
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Promenade Publishing House Kft.
Város: Budapest