Új hozzászólás Aktív témák
-
Raymond
titán
válasz
MasterDeeJay #7 üzenetére
"Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó."
Ez most eleg nehez ugy mert mivel vadnyugati aranylaz van, naponta jonnek mindenfele hirek es hype hogy az uj XY modell a legjobb a vilagon stb. Rengeteg a zaj, de ha maradsz az alapoknal (Llama-2b, Mistral, Mixtral-8x7b) es ezek nepszerubb valtozatai (Nuos-Hermes) abban a valtozatban ami erdekel (generic, chat, instruct) akkor OK. Ha nem akarsz sok "Sorry Dave, I can not do that!" valaszt latni akkor az uncensored verziot keresd meg abbol amit hasznalni akarsz.
Az LM Studio-ban latod egyebkent ha rakeresel valamelyikre hogy melyik rep a legnepszerubb, az egy jo mutato.
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Meg Maxwell-en is megy, a P40 (remelem a 24GB-os
) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.
Ha ilyen Skyrim szeru jatek chat-re kell akkor viszont tenyleg a modifikalt uncensored es roleplay-re optimalizalt modelleket nezd.
Lattam par hete az Intel videot a YT-on, gondoltam is rad hogy az A770-el kiprobalhatnad mert eleg jo it/s ertekeket produkalt
Aztan kiment a fejembol, de latom te is megtalaltad.
A P40-nek egyebkent adj egy power limitet mert az inference sebessegre nem lesz kihatassal, de a fogyasztas es melegedesnek jot tesz [link]
Új hozzászólás Aktív témák
- Autós topik látogatók beszélgetős, offolós topikja
- Geri Bátyó: Agglegénykonyha 6 – Néhány egyszerű tésztaétel
- Villanyszerelés
- NVIDIA GeForce RTX 5080 / 5090 (GB203 / 202)
- Homokféreggel is pózolhatna a OnePlus 15
- Küszöbön az androidos PC-k
- Futás, futópályák
- Építő/felújító topik
- Kutya topik
- sziku69: Fűzzük össze a szavakat :)
- További aktív témák...
- Latitude 5350 2-in-1 13.3" FHD IPS érintő Ultra 7 165U 32GB 256GB NVMe IR kam gar
- Gamer PC-Számítógép! Csere-Beszámítás! R5 5500 / RX 6700XT / 32GB DDR4 / 1TB SSD
- Okostelefonok javítása, akku, törött kijelző, töltőcsatlakozó csere, ODA-VISSZA FUTÁRRAL IS!
- A legolcsóbb!!! Dell Latitude 5470 6. gen. core i5-ös notebook olcsón!!!! AkciÓÓ!
- HP A8-as Radeon VGA kártyás notebook leárazás!!! AkciÓÓ!
- 153 - Lenovo LOQ (15IRX9) - Intel Core i5-13450HX, RTX 4060
- BESZÁMÍTÁS! Apple MacBook Air 13 M4 2025 16GB 512GB SSD macbook garanciával hibátlan működéssel
- HIBÁTLAN iPhone 14 128GB Purple -1 ÉV GARANCIA - Kártyafüggetlen, MS3530
- ÚJ BONTATLAN Apple Macbook Air 15,3 M4 10C CPU/10C GPU/16GB/256GB - Égkék - HUN - mc7a4mg/a 3 év gar
- BESZÁMÍTÁS! Asus TUF VG34VQL3A 34 180Hz VA 1ms monitor garanciával hibátlan működéssel
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Laptopműhely Bt.
Város: Budapest