Új hozzászólás Aktív témák

• #15946 biker nagyúr DNReNTi #15942

  Új Válasz 2014-08-12 13:31:47 #15946

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  biker

  nagyúr

  válasz DNReNTi #15942 üzenetére

  mi csináltunk ilyet, telefonkönyv meg webshop adatszippantó, curl-el bekéred az oldalt, aztán kidobod a header/footer meg a többi sallangot, csak a kért box marad, azt pedig a formázások alapján fel tudod dolgozni, akár tömbbe kiexportálni pár explode-al.
  Persze
  - sokáig fut
  - letiltják az IP-t ami nagy terhelést okoz
  ezért célszerű kiegészíteni egy free proxy ip begyűjtő scripttel, és ezeken keresztül csatlakozni, vagy limitálni percenként 10-20 oldal lekérés és/vagy óránkénti limit mellé

  Ez a megoldás nagyker részére készült, hogy ellenőrizzék a kiskereiket, mennyiért árulják a cuccaikat, nem-e szürkéznek mellé, vagy ár alatt adják

  nagyjából kiskerenként meg kellett írni a feldolgozó scriptet, mert más az oldal felépítés

• #15945 Lacces őstag DNReNTi #15942

  Új Válasz 2014-08-12 13:28:18 #15945

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Lacces

  őstag

  válasz DNReNTi #15942 üzenetére

  Ha nincs ott jogi megkotes, hogy az oldalon talalhato adatok kinek a tulajdonaban vannak akkor nem illegalis, amugy meg akkor ugyvedet kell fogadni. (De emailben lehet oket tajekoztatni, hogy bele egyeznek-e)

  Ha par cucc kell, akkor lehet a simpledom, amit felettem mar javasoltak, ha viszont sok adatot akarsz kinyerni, minel gyorsabban, akkor marad az alap PHP DOM osztaly. Kezdoknek nehezkes, de a feldolgozasi ideje nagyon gyors. En anno probaltam nalat, es megmerve ez volt a leggyorsabb.

• #15944 19.Norbika tag DNReNTi #15942

  Új Válasz 2014-08-12 12:56:48 #15944

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  19.Norbika

  tag

  válasz DNReNTi #15942 üzenetére

  Nézegess meg pár php dom lehetőséget. Itt van két link a sok közül, ezekkel meg lehet oldani.

  http://hu1.php.net/dom
  http://simplehtmldom.sourceforge.net/manual.htm

  Viszont az ilyen jellegű adathalászatról azért tájékoztasd a célszemélyeket is.

• #15943 sztanozs veterán DNReNTi #15942

  Új Válasz 2014-08-12 12:54:41 #15943

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  sztanozs

  veterán

  válasz DNReNTi #15942 üzenetére

  Általában nem legális, de legtöbbször technikailag nem megakadályozható. Amúgy miért pont PHP-ban kell?

  Hint: php crawler

Új hozzászólás Aktív témák