Hirdetés
- RAID
- Apple asztali gépek
- Xiaomi Mi Box androidos médialejátszó 4K és HDR támogatással
- AMD Ryzen 9 / 7 / 5 9***(X) "Zen 5" (AM5)
- HiFi műszaki szemmel - sztereó hangrendszerek
- Amlogic S905, S912 processzoros készülékek
- SSD kibeszélő
- Milyen monitort vegyek?
- Melyik tápegységet vegyem?
- Kormányok / autós szimulátorok topikja
Új hozzászólás Aktív témák
-
WolfLenny
senior tag
Üdv.!
Egy olyan kérdésem lenne, hogy adott egy kb. 4-500 MB méretű csv. Kb. 1-1.5 millió rekord kb. 40 mezővel.
A teszt felszedése 140.000 rekordot tartalmazott és több mint 1 órán keresztül szedte fel.
Ezt lehetne valahogy gyorsítani?Előre is köszi a választ...
-
WolfLenny
senior tag
válasz
martonx
#1147
üzenetére
A feldolgozások egymás után történnének. Tehát lesz egy admin aki a bejövő adatokat kezeli és az adatbázisba dolgozza be. Nem egyszerre hanem egyik, majd másik. Lesz kb. 3-4 felhasználó akik ezekről leválogatásokat csinálnak, pl. egy hirdetőre. Nagyon ritka. Mondjuk naponta 1 és 95%-ban különböző időben. De ők pl. a "fő adatbázisban" írni nem fognak, csak onnan adatokat kinyerni ha kell...
Kb. ennyi. Szóval nem lenne erős felhasználás. A fő munka inkább az adatok bevitelénél és az azok után feldolgozásnál lenne sok írás pl. Utána már szinte semmi...
-
WolfLenny
senior tag
válasz
martonx
#1143
üzenetére
Egyelőre a vas még kérdéses. A szerver helyben lesz és kizárólag mi fogjuk használni.
Még nincs alatta konkrét vas, ehhez is szeretnék tőletek javaslatot.Bővebben, hogy mi is lesz rajta. Kb. 9 ország adatai dolgozzuk fel. Az egyes országokat külön adatbázisba tervezem. Átlag 1 hónap kb. 100.000 rekord/ország. Azonban van 1-2 nagyobb ország, ahol akár 1-1.5 millió rekord/hó is lehet majd (egyelőre kb. 1 milla a legnagyobb). Az input adatok bekerülnek a táblába, majd utána lekérdezések, szegmentálások (bizonyos mezők kitöltése) fog történni. Amikor eltelik 1 év, akkor "lezárjuk" azaz, nem módosítunk rajta már semmit, azonban bizonyos kimutatásokhoz szükség lesz lekérdezésekre.
Szóval egyelőre kb. 9 adatbázis lenne azokban pedig 3 tábla egyenként max 12-15 millió rekorddal.Ehhez milyen vas kellene? Mi az mi sokat dob a sebességen? HDD, CPU, RAM?
-
#1138
WolfLenny
senior tag
Sk8erPeter
#1136
WolfLenny
senior tag
válasz
Sk8erPeter
#1136
üzenetére
Havi lekérdezés extrém ritka. Inkább teljes év vagy up2date lekérdezések vannak. Viszont az input adatok havi szinten jönnek. Ha view-sal nézzük, akkor könnyebb kezelni, mert nem kell havin szinten nyitogatni. Akkor lehet érdemes egy táblába tenni egy teljes évet, ha view-sal lassabb....
-
WolfLenny
senior tag
Újabb kérdések:
A dilemma a következő:
Mi a gyakorlati korlát egy táblában. Az adatok havi szinten jönnek és kb.1-1.3 millió rekord nagyságúak és kb. 50 mezőt tartalmaznak. Melyik megoldás lenne a gyorsabb. Ha külön file-ban tároljuk havi szinten, vagy ennyit még bepakolhatunk egy táblába.Jogosultsággal kapcsolatos kérdések:
1. PHP+MySQL páros. Ha belép valaki a weboldalon keresztül, akkor a jelszót az MySQL-nek kódolva kell továbbítani? Vagy elfogadja TEXT-ként is az adatbázis szerver?
2. 3 szintű jogosultságot szeretnénk létrehozni.
a. Full jog.
b. Korlátozott jog. Bizonyos táblákat módosíthat csak. Viszont mikor új táblák készülnek,akkor azok a FULL joggal rendelkező user-rel készülnek. Tehát külön kellene az elkészülés után adni jogot minden egyes ilyen táblához?
c. Csak olvasás a fő adatbázisra és egy másik külön adatbázisba (pl output database) lenne írási joga. -
#1118
WolfLenny
senior tag
Sk8erPeter
#1114
WolfLenny
senior tag
válasz
Sk8erPeter
#1114
üzenetére
Köszi!
Átolvassuk.
=======
Igen, mert még nem beszéltem azóta az illetővel. (Nem én programozom, csak segítek neki..
)Ma elvileg tudunk foglalkozni a dologgal...
-
#1109
WolfLenny
senior tag
Sk8erPeter
#1107
WolfLenny
senior tag
válasz
Sk8erPeter
#1107
üzenetére
Bocs, nem akartalak összezavarni..
Szóval van 12 db tábla, ami havi adatokat tartalmaz. Szükségünk van az adatokra úgy mintha a 12 db tábla egy nagyba lenne. De nem akarjuk a 12 db táblát egybe összefűzni fizikailag. Mert már túl nagy lenne így és méret korlátba ütközhetünk, illetve jobb kezelni külön. Amikor lekérdezéseket csinálunk, akkor az UNION-nal 12x kell leírni. Ezt szeretnénk egyszerűsíteni, ha lehet..
Így már tiszta?
-
#1108
WolfLenny
senior tag
Sk8erPeter
#1107
WolfLenny
senior tag
válasz
Sk8erPeter
#1107
üzenetére
Ez már jó lehet, csak a kérdés (amit elfelejtettem) hogy ez PHP-ban van....
Valakinek van ötlete erre?
-
#1106
WolfLenny
senior tag
Sk8erPeter
#1094
WolfLenny
senior tag
válasz
Sk8erPeter
#1094
üzenetére
Lehet pontatlan voltam.
Szóval ami a lényeg van 12 db file-om (havi bontású adatok) De amikor megnyitom a 12 db file-t (vagy táblás), akkor logikailag mintha egy file-t (vagy táblát) kezelnék.
Ezt az Union-nal is meg lehet csinálni? Ő állítólag valami create table utasításra emlékszik.. de nem biztos benne.... -
WolfLenny
senior tag
Sziasztok!
Egyik kollégámnak szeretnék segíteni. MySQL-ben fejleszt. A kérdés:
Van két (vagy több) tábla ami azonos struktúrával rendelkezik. Havi adatok. Viszont vannak olyan lekérdezések amikor pl. 6 havi adatból kell. Nem szeretnénk egyenként megnyitni és lekérdezéseket csinálni. Meg lehet azt oldani, hogy mondjuk 6 db táblát megnyit és azt a lekérdezés idejére "összefűzi". Tehát olyan mintha a 6 tábla egybe lenne..
Ezt meg lehet csinálni? Érthető a kérdésem?
Előre is köszi a választ...
Új hozzászólás Aktív témák
- ÚJ Razer Barracuda X Bolti ár:40k INGYEN FOXPOST
- Lenovo Yoga Pro 9i Hordozható Gamer Tervező laptop -25% 14,5" i7-13705H 16/1TB RTX 4050 6GB 144Hz 3K
- SZINTE ÚJ Razer Kraken v3 X Bolti ár:20k INGYEN FOXPOST
- Asus P8P67 EVO LGA 1155 alaplap
- Zsír Lenovo ThinkPad X13 G3 "Golyóálló" Laptop 13.3" -35% Brutál i5-1245U 12Magos 16GB 512GB FHD+
- Dell latitude 5495 - 14" FHD, Ryzen 5 pro 2500U, 8GB RAM, SSD, EU bill., jó akku, számla, garancia
- LG 55C3 - 55" OLED evo - 4K 120Hz 1ms - NVIDIA G-Sync - FreeSync Premium - HDMI 2.1 - PS5 és Xbox!
- Dell Inspiron 3511 /i7-1165G7/MX350/16GB/512GB M.2/WIN11/Újszerű akku/Játékra is! Számlával!
- Eladó egy oneplus 9 pro 256/12
- HIBÁTLAN iPhone 13 mini 128GB Pink -1 ÉV GARANCIA - Kártyafüggetlen, MS3840
Állásajánlatok
Cég: Laptopszaki Kft.
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest