Új hozzászólás Aktív témák
-
Atomantiii
addikt
válasz
Atomantiii #1199 üzenetére
PC-n 140 csati 1 óra 20 perc futott le a php-s verzión, míg a raspberry pi 3+-on 2 óra 52 perc kellett neki.
Vagyis a pythonos verzió valamivel gyorsabb, de nem sokkal rajta. Most délután pc-n 1,5 óra kellett a pythonos verziónak 10 napra.
-
Atomantiii
addikt
válasz
kovyhun #1198 üzenetére
Igen csak ott meg nem tudsz pl a port.hu-ról letölteni több csatornát, mert letilt. Esetleg valahogy delayezni kellene, hogy lassabb legyen, de nem találtam olyat a leírásában, hogy lehetne. De a többi az megy szépen úgy tűnik, bár most délután eltűntek a response is received but the description can't be found hibák a pyepggrab-nél is, de tény, hogy sokkal több memória kell neki.
-
kovyhun
tag
válasz
Atomantiii #1197 üzenetére
A php készítője valahol írta hogy cél volt a lehető legkisebb memóriahasználat.
-
Atomantiii
addikt
válasz
Atomantiii #1196 üzenetére
Úgy tűnik a php-s verzió sokkal kevésbé fogja meg a Raspberry-t, időben még nem tudom mennyi lesz, de memóriából csak 100 MB-át használ kb folyamatosan.
-
Atomantiii
addikt
válasz
Atomantiii #1195 üzenetére
Egyébként most már közben meghal az egész vagy nem tudom mi van.
A response is received but the description can't be found-okat dobál és megáll pc-n is meg a raspberry-n is.
-
Max500
tag
válasz
Atomantiii #1192 üzenetére
Az ha a swap megtelik az már annak a jele, hogy nagyon a határon vagy. Megpróbálhatod esetleg, hogy növelsz a swap területen, de csodát ne várj tőle.
Az utóbbi az még gui-s volt vagy már gui nélkül?
Ha jól értettem akkor eddig újratelepítetted, hogy cli-set kapj, de a raspi-config-al (alapból fent van) is tudsz váltani, hogy gui-ba vagy cli-be bootoljon (azt hiszem a System -> Boot/Autologin menü) -
Atomantiii
addikt
válasz
Atomantiii #1191 üzenetére
Most másodjára is lefagyott 55 %-nál, memória 861 MB-án, swap fájl 99,8 M.
-
Atomantiii
addikt
válasz
Atomantiii #1189 üzenetére
A 10 nappal viszont megfagyott 60 %-on, memória 833/910, swap 99,9/100 MB. Mondjuk az is igaz, hogy a desktopos verzió van fent, lehet elég lenne a terminál is, akkor nyerhetek valamit vele.
-
Atomantiii
addikt
válasz
Atomantiii #1189 üzenetére
Így most kb 1,5 óra volt az 5 nap jobs 4-el.
-
Max500
tag
válasz
Atomantiii #1187 üzenetére
Puttynál a címsoron jobb klikk és duplicate session vagy nyitsz egy új puttyot és csatlakozol mégegyszer.
-
Max500
tag
válasz
Atomantiii #1185 üzenetére
Hogy csatlakozol hozzá? Ha SSH-n akkor nyitsz még egy kapcsolatot, ha fizikailag direktbe használod képernyő+bill-el gui nélkül, akkor Alt+F1-től F6-ig váltogathatsz ún virtual terminal-ok között.
Léteznek még terminal multiplexerek mint a tmux, de ezek egy fokkal nehezebbek mint a fenti megoldások. -
Max500
tag
válasz
Atomantiii #1183 üzenetére
ratelimit és interval nyugodtan maradhat úgy mint PC-n 1 és 3B-n is. Több ramot nem eszik, de lesz lehetősége gyorsabban dolgozni ha tud.
1B-n a jobs az jó 1-en mert úgysincs több magva, meg amúgy is a rammal kűzdesz.
3B-n (ha a ram is engedi) mehet a 4 mert annak már van 4 magva.Szerintem egy 3B+-al nem túl sokat nyernél, CPU +200 MHz, a ram meg ugyan úgy 1GB, de mielőtt bármibe beruháznál érdemes meggyőződni arról, hogy tényleg a CPU limitálna a 3B-n (htop, top páros ismét).
-
Atomantiii
addikt
Az az érdekes, hogy a 3B v1.2 verzióval kb 5 óra kell majd neki, hogy leszedje az 5 napot, ez a 1B-vel volt 6,5 óra.
Vagy itt már mehetne jobs 4-el, mint a pc-nél, mert most minden 1-esen van neki (jobs, ratelimit, interval). Mert gondolkoztam egy 3B+ beszerzésén esetleg, de nem tudom hogy lehetne egy kicsit turbózni rajta.
-
Atomantiii
addikt
válasz
Atomantiii #1181 üzenetére
Közben megvan, csak ide rakta be:
/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/ -
Atomantiii
addikt
Most szereztem kipróbálásra egy Raspberry Pi 3B-t, ha próbálom telepíteni a pyepggrab-ot ezt írja ki, vagyis már másodjára futtatom. Van pyton 3.9, de abban nincs site packages mappa. Ez elvieg 64 bites rendszer ha minden igaz.
atomantiii@raspberrypi:~ $ pip install pyepggrab
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: pyepggrab in ./.local/lib/python3.9/site-packages (0.1.12)
Requirement already satisfied: beautifulsoup4 in ./.local/lib/python3.9/site-packages (from pyepggrab) (4.12.3)
Requirement already satisfied: requests in ./.local/lib/python3.9/site-packages (from pyepggrab) (2.31.0)
Requirement already satisfied: lxml in /usr/lib/python3/dist-packages (from pyepggrab) (4.6.3)
Requirement already satisfied: extruct in ./.local/lib/python3.9/site-packages (from pyepggrab) (0.16.0)
Requirement already satisfied: dnspython in /usr/lib/python3/dist-packages (from pyepggrab) (2.0.0)
Requirement already satisfied: requests-ratelimiter in ./.local/lib/python3.9/site-packages (from pyepggrab) (0.6.0)
Requirement already satisfied: tzdata in ./.local/lib/python3.9/site-packages (from pyepggrab) (2024.1)
Requirement already satisfied: roman in /usr/lib/python3/dist-packages (from pyepggrab) (2.0.0)
Requirement already satisfied: urllib3 in /usr/lib/python3/dist-packages (from pyepggrab) (1.26.5)
Requirement already satisfied: typing-extensions>=4.4 in ./.local/lib/python3.9/site-packages (from pyepggrab) (4.10.0)
Requirement already satisfied: soupsieve>1.2 in /usr/lib/python3/dist-packages (from beautifulsoup4->pyepggrab) (2.2.1)
Requirement already satisfied: mf2py in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (2.0.1)
Requirement already satisfied: rdflib>=6.0.0 in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (7.0.0)
Requirement already satisfied: w3lib in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (2.1.2)
Requirement already satisfied: html-text>=0.5.1 in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (0.5.2)
Requirement already satisfied: six in /usr/lib/python3/dist-packages (from extruct->pyepggrab) (1.16.0)
Requirement already satisfied: jstyleson in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (0.0.2)
Requirement already satisfied: pyrdfa3 in ./.local/lib/python3.9/site-packages (from extruct->pyepggrab) (3.6.2)
Requirement already satisfied: isodate<0.7.0,>=0.6.0 in ./.local/lib/python3.9/site-packages (from rdflib>=6.0.0->extruct->pyepggrab) (0.6.1)
Requirement already satisfied: pyparsing<4,>=2.1.0 in ./.local/lib/python3.9/site-packages (from rdflib>=6.0.0->extruct->pyepggrab) (3.1.2)
Requirement already satisfied: html5lib<2.0,>=1.1 in /usr/lib/python3/dist-packages (from mf2py->extruct->pyepggrab) (1.1)
Requirement already satisfied: idna<4,>=2.5 in /usr/lib/python3/dist-packages (from requests->pyepggrab) (2.10)
Requirement already satisfied: charset-normalizer<4,>=2 in ./.local/lib/python3.9/site-packages (from requests->pyepggrab) (3.3.2)
Requirement already satisfied: certifi>=2017.4.17 in /usr/lib/python3/dist-packages (from requests->pyepggrab) (2020.6.20)
Requirement already satisfied: pyrate-limiter<3.0 in ./.local/lib/python3.9/site-packages (from requests-ratelimiter->pyepggrab) (2.10.0)Úgy látom, hogy dist-packages van a python2.7-ben de az szinte üres, a python3-ban is van de ott sok minden van benne, illetve a python3.9-ben is van dist-packages és az is szinte üres.
-
Atomantiii
addikt
5 nappal most végigment kb 6,5 óra alatt.
-
Atomantiii
addikt
Az az érdekes, hogy mindig olyan 70-80 % körül jön elő. Nem hinném, hogy a hálózatommal lenne probléma (délután olyan 4,5 óra futás után írta ki, előtte meg volt vagy 8-9 óra). De lehet hétvégére hazaviszem és megnézem otthon.
De pc-n meg szépen lefut, igaz ott nem kell neki csak kb 1,5 óra.
-
Max500
tag
válasz
Atomantiii #1177 üzenetére
Nem feltétlen gondolom, hogy ez a kevés ram jele lenne, ha csak megállna minden üzenet nélkül az igen. htop, top vagy free-vel figyelheted futás közben, hogy mennyi szabad ram (available vagy zöld csík, attól függ melyiket nézed) és swap van. Ha nem fogy el, akkor inkább (időszakos) hálózati problémára gondolnék (nekem ma 8-9 között működött probléma nélkül).
-
Atomantiii
addikt
válasz
Atomantiii #1175 üzenetére
Reggeli indítás után is ugyanúgy megállt 77 %-on és ugyanezt írja ki, lehet mégis kevés a raspberry pi neki.
-
Atomantiii
addikt
Lehet, hogy variáltak valamit, mert most kb mindenre ez jön fel futás közben:
WARNING - Response code indicating failure: 429. Retrieving program details failed. Url: valami Using basic information.
-
Atomantiii
addikt
válasz
Atomantiii #1174 üzenetére
80 %-nál meghalt, ezt írta ki:
2024-03-12 20:23:56,218 - tv_grab_pyepg_hu_porthu - ERROR - Exception occurred while fetching programs
concurrent.futures.process._RemoteTraceback:
"""
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 699, in urlopen
httplib_response = self._make_request(
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 445, in _make_request
six.raise_from(e, None)
File "<string>", line 3, in raise_from
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 440, in _make_request
httplib_response = conn.getresponse()
File "/usr/lib/python3.9/http/client.py", line 1347, in getresponse
response.begin()
File "/usr/lib/python3.9/http/client.py", line 307, in begin
version, status, reason = self._read_status()
File "/usr/lib/python3.9/http/client.py", line 276, in _read_status
raise RemoteDisconnected("Remote end closed connection without"
http.client.RemoteDisconnected: Remote end closed connection without response
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests/adapters.py", line 486, in send
resp = conn.urlopen(
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 755, in urlopen
retries = retries.increment(
File "/usr/lib/python3/dist-packages/urllib3/util/retry.py", line 532, in increment
raise six.reraise(type(error), error, _stacktrace)
File "/usr/lib/python3/dist-packages/six.py", line 718, in reraise
raise value.with_traceback(tb)
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 699, in urlopen
httplib_response = self._make_request(
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 445, in _make_request
six.raise_from(e, None)
File "<string>", line 3, in raise_from
File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 440, in _make_request
httplib_response = conn.getresponse()
File "/usr/lib/python3.9/http/client.py", line 1347, in getresponse
response.begin()
File "/usr/lib/python3.9/http/client.py", line 307, in begin
version, status, reason = self._read_status()
File "/usr/lib/python3.9/http/client.py", line 276, in _read_status
raise RemoteDisconnected("Remote end closed connection without"
urllib3.exceptions.ProtocolError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/lib/python3.9/concurrent/futures/process.py", line 243, in _process_worker
r = call_item.fn(*call_item.args, **call_item.kwargs)
File "/usr/lib/python3.9/concurrent/futures/process.py", line 202, in _process_chunk
return [fn(*args) for args in chunk]
File "/usr/lib/python3.9/concurrent/futures/process.py", line 202, in <listcomp>
return [fn(*args) for args in chunk]
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/request_proc.py", line 59, in gen_programs
rsp = cls.session.get(
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests/sessions.py", line 602, in get
return self.request("GET", url, **kwargs)
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests/sessions.py", line 589, in request
resp = self.send(prep, **send_kwargs)
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests_ratelimiter/requests_ratelimiter.py", line 95, in send
response = super().send(request, **kwargs)
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests/sessions.py", line 703, in send
r = adapter.send(request, **kwargs)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/use_ip_adapter.py", line 79, in send
return super().send(request, *args, **kwargs)
File "/home/atomantiii/.local/lib/python3.9/site-packages/requests/adapters.py", line 501, in send
raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))
"""
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 353, in retrieve_guide
progs = fetch_prog_info(progjsons, options)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 149, in fetch_prog_info
for result in ppe.map(ProcessCtx.gen_programs, url, progjsons):
File "/usr/lib/python3.9/concurrent/futures/process.py", line 559, in _chain_from_iterable_of_lists
for element in iterable:
File "/usr/lib/python3.9/concurrent/futures/_base.py", line 600, in result_iterator
yield fs.pop().result()
File "/usr/lib/python3.9/concurrent/futures/_base.py", line 440, in result
return self.__get_result()
File "/usr/lib/python3.9/concurrent/futures/_base.py", line 389, in __get_result
raise self._exception
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')) -
Max500
tag
válasz
Atomantiii #1172 üzenetére
Az offset-el tudod a kezdő napot megadni. Ha az offset 0 az ma, 1 holnap, 2 holnap után. Ha offset 1 és days 2 akkor a holnapi és holnap utáni műsorokat tölti le.
-
Max500
tag
válasz
Atomantiii #1169 üzenetére
"libxslt.so.1: cannot open shared object file: No such file or directory" -> #941-ben a megoldás.
Egyébként nem kell már a gites verzió, a 0.1.12-ben már javítva lett amiért szükség volt rá.
-
Atomantiii
addikt
válasz
Atomantiii #1168 üzenetére
Ott járok, hogy elvileg felraktam gitről a pyepggrab-ot.
A home\atomantiii\local\lib\python3.9\site-packages\pyepggrab\resources mappában xmltv.dtd fájl megvan, viszont nincs \home\atomantiii\.xmltv mappa.
A \home\atomantiii\local\bin mappában van tv_grab_pyepg_hu_porthu fájl.
Ha futtatni szeretném a tv_grab_pyepg_hu_porthu --configure-t akkor ezt kapom:
Traceback (most recent call last):
File "/home/atomantiii/.local/bin/tv_grab_pyepg_hu_porthu", line 5, in <module>
from pyepggrab.grabbers.hu_porthu.hu_porthu import run
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 22, in <module>
from pyepggrab.grabbers.hu_porthu.request_proc import ProcessCtx
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/request_proc.py", line 13, in <module>
from pyepggrab.grabbers.hu_porthu.xml_utils import create_xprogramme
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/xml_utils.py", line 7, in <module>
import extruct # type: ignore[import]
File "/home/atomantiii/.local/lib/python3.9/site-packages/extruct/__init__.py", line 1, in <module>
from ._extruct import SYNTAXES, extract
File "/home/atomantiii/.local/lib/python3.9/site-packages/extruct/_extruct.py", line 7, in <module>
from lxml.html import HtmlElement
File "/home/atomantiii/.local/lib/python3.9/site-packages/lxml/html/__init__.py", line 49, in <module>
from .. import etree
ImportError: libxslt.so.1: cannot open shared object file: No such file or directory -
Max500
tag
válasz
Atomantiii #1162 üzenetére
Nem tudsz egyesével tageket kiszedni, de szerintem nem is ezen múlik a dolog. A memóriaigényesebb részek azok a kezdetkor a műsorlista letöltése és feldolgozása (neked kb itt akadt ki), majd az egyes műsorokhoz a weblap letöltése (vagy itt az első pár 100 alatt), végén meg az xml ellenőrzése.
Spórolni úgy tudsz, ha egyszerre kevesebb napot töltesz vagy több napra de kevesebb csatornát, vagy kevesebb jobs-ot választasz (írtad, hogy 1, annál kevesebb nem megy), a ratelimit és interval nem számít.
Legkönnyebb a "több napra de kevesebb csatornát" mert utána egyszerűbb összefűzni, persze egyik se kényelmes. -
kovyhun
tag
válasz
Atomantiii #1164 üzenetére
Már nem emlékszem melyikkel mi volt a gondom, vissza kellene olvasni, "aranyhal memóriám" van
-
Atomantiii
addikt
Ha csak a címeket szedi le, akkor ezen is megy, de ha már mindent szed, akkor nem bírja.
Azt lehet-e esetleg konfigurálni valamelyik fájlban, hogy egyes tagokat ne szedjen le a weboldalról, mert úgy sem tud vele mit kezdeni a beltéri? Gondolok itt pl a <credits>-re, de lehetne még ritkítani, bár gondolom nem ilyen egyszerű de hátha.
De következő lépésként majd megpróbálok egy desktop nélküli verziót akkor, hátha megy.
-
Max500
tag
válasz
Atomantiii #1160 üzenetére
kovyhun-nak ment zero w-n (#961) ami ugyan úgy 512MB, így ha te desktoppal használod az 1B-n és feltesszük, hogy kovyhun nem használt desktopot akkor valószínűleg ezen múlik.
Tovább tippelve úgy gondolom, hogy egy 1GB-s variánson már desktoppal is elfér (esetleg kompromisszumokkal), desktop nélkül szinte biztos.
Amiről viszont tapasztalatom van az egy 4B 2GB és egy 8GB, azokon vígan megy desktoppal. -
Atomantiii
addikt
válasz
Atomantiii #1159 üzenetére
Akkor az a kérdés, melyik az a minimális konfig, amin még elmegy. Egy 3B-n lehet ki tudom majd próbálni vajon elég lehet-e neki?
-
Max500
tag
válasz
Atomantiii #1156 üzenetére
A grabber-ban semmi magyar nyelvű logolás nincsen, így gondolom az valahonnan egyéb helyről származik, nem a grabber-ből.
Arra tudok gondolni ha magyar nyelven használod a Linuxot, hogy a "Killed" üzenetet fordították "Kilőve"-re. Ha ez történt akkor az OOM killer (out of memory killer) állította le azért mert elfogyott a RAM.Ha a port.hu tiltott volna szerintem (nem tudom, mert engem sose tiltott) olyasmi traceback-et kapnál ami vagy timeout-ra hivatkozik vagy connection refused-ra, ha meg csak a limitet léped túl akkor a HTTP 429-et kapnád mint korábban.
-
Atomantiii
addikt
válasz
Atomantiii #1156 üzenetére
Mégiscsak inkább a letiltás lesz, mert most is azt írja.
-
Atomantiii
addikt
Köszi, ha ilyet ír ki, hogy Kilőve akkor azt jelenti, hogy a port.hu letiltott?
atomantiii@raspberrypi:~/.xmltv $ tv_grab_pyepg_hu_porthu --verbose
2024-03-11 11:25:06,491 - tv_grab_pyepg_hu_porthu - INFO - retrieving programs from 2024-03-11 to 2024-03-22 for 124 channel(s)
KilőveA többi konfig a fájlban van megadva. Mondjuk a jobs, ratelimit és az interval 1-esen van, mert olyan lassú a raspberry pi, hogy valószínűleg nincs értelme variálni, mint a pc-n de lehet mégis fentebb kell venni az értékeket.
Vagy az is lehet, hogy még a korábbi ctrl-c--re mondja azt, amikor megnyomtam. Nem a gyorsaságáról híres az 1B-s raspberry, de kíváncsi vagyok rá mennyi idő kell neki mire végigmegy.
-
Max500
tag
válasz
Atomantiii #1154 üzenetére
Rakj a parancs végére egy 2> log.txt-t és akkor a log.txt-be menti a logot, ha látni is akarod menet közben akkor egy 2> >(tee log.txt)-vel megoldható.
Ha hozzáfűzni szeretnéd akkor az első variációnál 2>>-t használj, a másodiknál tee -a log.txt-t.
Az a logika mögötte, hogy az xml kerülne az stdout-ra ha nem adsz meg output-ot és a logok kerülnek az stderr-re, ezért kell az stderr-t átirányítani. -
Max500
tag
válasz
Atomantiii #1146 üzenetére
Kipróbáltam, sima pip-es telepítéssel nálam is erre fut, viszont venv-be pip-el telepítve is jó és pipx-el is jó (ezért nem vettem észre eddig). Ránézek mi okozza.
Első telepítésnél én is találkoztam azzal mit a #1113-ban írtál, erre kipróbáltam amit a #1114-ben javasoltam és megoldotta, úgyhogy ez a következő releasebe bele is rakom. -
Max500
tag
válasz
Atomantiii #1150 üzenetére
Ha a politikai thriller hiányzik akkor lemaradtál egy verzióval, a 0.1.11-ben hozzáadtam. A tv_grab_pyepg_hu_porthu --pyepggrabver-el megnézheted melyik verziót használod. Másik kettőt ütemeztem a következő releasere.
Ha minden jól megy holnap kipróbálom a Raspberry-s problémát és utána lesz egy release. -
Atomantiii
addikt
válasz
Atomantiii #1148 üzenetére
A régi konfig fájlban az optionsnál nincs megadva semmi sem, azt a paranccsorban adtam meg neki ezek szerint..
"options": {},Amit most létrehozott magának, abban már vannak egyéb paraméterek is:
"options": {
'loglevel": 30,
'quiet': false,
'output": null,
"days": null,
"offset": 0,
"slow": false,
"jobs": 1,
"ratelimit": 1,
"interval": 1
},Most így ha adok neki outputot a futtatásnál ha nem akkor is kiírja az 1146-ban lévő hibaüzeneteket.
-
Max500
tag
válasz
Atomantiii #1146 üzenetére
Valószínűleg a hétvégén vagy a jövő hét folyamán kipróbálom. Azért érdekes a dolog, mert 1 hónapja még én is a Debian 11 alapú Raspberry Pi OS-en voltam és nem volt ilyesmi problémám.
Még egy ötletem van (bár ez inkább a #1145 miatt jutott eszembe a DTDParseError-on nem hiszem hogy segít), hogy egy új configot csinálj vagy másik néven a --config-file-al vagy a meglévő configot nevezd át és úgy készítsen újat, a lényeg az az, hogy ne másolj semmit a mostani configból hanem maga generálja. A csatornaválasztás mindegy, és a --slow sem kell.
-
Atomantiii
addikt
válasz
Atomantiii #1145 üzenetére
Most futtattam még egyszer output nélkül:
tv_grab_pyepg_hu_porthu --slow --jobs 4 --ratelimit 9 --interval 5 --verbose --day 1Végigmegy, majd a végén ezt írja ki.
Traceback (most recent call last):
File "/home/atomantiii/.local/bin/tv_grab_pyepg_hu_porthu", line 8, in <module>
sys.exit(run())
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 574, in run
Pyepggrab.main(
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/pyepggrab.py", line 150, in main
exitc = cls._grabber_main(args, confman)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 568, in main
writexml(guide, args.output)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/xmlwriter.py", line 23, in writexml
dtd = etree.DTD(Path(Path(__file__).parent, "resources/xmltv.dtd"))
File "src/lxml/dtd.pxi", line 288, in lxml.etree.DTD.__init__
lxml.etree.DTDParseError: file must be a filename or file-like object -
Atomantiii
addikt
Így próbáltam futtatni:
tv_grab_pyepg_hu_porthu --slow --jobs 4 --ratelimit 9 --interval 5 --verbose --day 2 --output /home/atomantiii/epg/port.hu.xmlA /home/atomantiii/.xmltv-ben van a conf fájl és létezik ez a fájl is: /home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/resources/xmltv.dtd
Mióta csak a konyakmeggy.xml.xz-re van megadva a hivatkozás a azóta elsőre betölti az adatokat a beltéri.
Ha nem írom be az --output részt akkor ezt kapom:
atomantiii@raspberrypi:~ $ tv_grab_pyepg_hu_porthu --slow --jobs 4 --ratelimit 9 --interval 5 --verbose --day 2
Traceback (most recent call last):
File "/home/atomantiii/.local/bin/tv_grab_pyepg_hu_porthu", line 8, in <module>
sys.exit(run())
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 574, in run
Pyepggrab.main(
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/pyepggrab.py", line 124, in main
conf = decor_confman.read_config()
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/configmanager.py", line 70, in read_config
conf = json.load(file, cls=self._decoder)
File "/usr/lib/python3.9/json/__init__.py", line 293, in load
return loads(fp.read(),
File "/usr/lib/python3.9/json/__init__.py", line 346, in loads
return _default_decoder.decode(s)
File "/usr/lib/python3.9/json/decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/lib/python3.9/json/decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 9 column 2 (char 117)Megint ismeretlen kategória: dokusorozat
-
Max500
tag
válasz
Atomantiii #1143 üzenetére
Ha minden igaz akkor nem az --output-al áll összefüggésben, akkor is ezt kell kapjad, (ha jó a feltevésem) ha --output nélkül futtatod. Úgy tűnik mintha vagy a script helyét nem tudná meghatározni vagy a dtd file nem lenne a helyén.
Létezik a
/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/resources/xmltv.dtd
file?
Illetve mi a teljes parancs amivel futtatod?#1113-#1120-nak mi lett a vége? Lehet hogy összefüggésben vannak.
-
Max500
tag
válasz
Atomantiii #1140 üzenetére
Az epg mappa létezik?
-
kovyhun
tag
válasz
Atomantiii #1140 üzenetére
Ha nem sikerül esetleg egy másik módszer...
Én csináltam egy .sh fájlt a tempest-hez:
Első sorral generálom, a következő sorral csinálok másik mappába egy másolatot róla, a harmadik sorral meg ftp-n feltöltöm egy tárhelyre.
(Nekem van még két sor ami frissíti a lastupdate.txt fájlt és azt is feltölti)
Így elég ezt az egy parancsot futtatni aztán megcsinál mindent amit kell. -
Max500
tag
válasz
Atomantiii #1137 üzenetére
"home/atomantiii/epg/port.hu.xml"
Ez így nem valid elérési út. Nem csak ennél a scriptnél, máshol se.
Vagy abszolút (+1 "/" az elején)
/home/atomantiii/epg/port.hu.xml
Vagy relatív kell
./epg/port.hu.xml -
Atomantiii
addikt
Kicsit hülye kérdés, de raspberry-n hogy adom meg, hogy hova mentse le a készített epg-t?
Így írtam a végére, hogy --output "home/atomantiii/epg/port.hu.xml", illetve már írtam " nélkül is, de mindig ezt írja ki a végén:
Traceback (most recent call last):
File "/home/atomantiii/.local/bin/tv_grab_pyepg_hu_porthu", line 8, in <module>
sys.exit(run())
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 574, in run
Pyepggrab.main(
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/pyepggrab.py", line 150, in main
exitc = cls._grabber_main(args, confman)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 568, in main
writexml(guide, args.output)
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/xmlwriter.py", line 23, in writexml
dtd = etree.DTD(Path(Path(__file__).parent, "resources/xmltv.dtd"))
File "src/lxml/dtd.pxi", line 288, in lxml.etree.DTD.__init__
lxml.etree.DTDParseError: file must be a filename or file-like object -
Atomantiii
addikt
válasz
kovyhun #1135 üzenetére
Sima összefűzés, annyi különbséggel, hogy a szerkezet jó legyen.
Tehát az elején kell a <tv ...> tag és a legvégén a </tv>, ez mindegyik összefűzendő fájlban megvan de a végén az összefűzöttben egyszer fog szerepelni, de a többi része sima összefűzés ahogy a fájlokban van úgy marad, de úgy tűnik az nem gond neki.
Most jónak tűnik így a nethelyes tárhelyen is, de majd kiderül egy-két nap múlva is menni fog-e elsőre.
-
kovyhun
tag
válasz
Atomantiii #1132 üzenetére
"Mert az elején vannak a port.hu-s verziók, majd jönnek a műsorok és amikor annak vége utána jönnek a musor.tv-s és tvmustrás channel id-k és utána azoknak a műsorai."
Nem tudom mennyire kötött a formátum.
Sima copy paranccsal fűzöd össze az xml fájlokat?
Ha nem fűzöd össze, akkor is ez a hiba? -
kovyhun
tag
válasz
Atomantiii #1132 üzenetére
Ha a beltérin az epgimport beállításainál vagy, nyomj egy menü gombot ott lesz a log és a mentési lehetőség is.
Próbáltad mondjuk a tmp mappába tenni és onnan beolvasni? -
Atomantiii
addikt
válasz
kovyhun #1131 üzenetére
A logban nincs semmi különös, azt nem tudom a beltérin csinál-e logot valahova amit vissza lehetne nézni.
A sources-nél az első az alap, de be van mappelve a második is a History HD miatt és azt néztem, hogy először 434 eseményt szed le a History HD-ra meg a Love Nature HD-ra és akkor akad el, de hogy szed le bármit is a History HD-ra amikor csak a konyakmeggy forrást szedetem vele.
<url>http://konyakmeggy.nhely.hu/epg/konyakmeggy.xml.xz</url>
<url>http://www.xmltvepg.nl/rytecMisc.xz</urlMost kiszedtem a másodikat most így 5-ből 5 jó.
Az vajon mindegy-e neki, hogy a csatorna felsorolások hol vannak az xml fájban?
Ezek:
<channel id="MTV80s">
<display-name lang="hu">MTV 80s</display-name>
</channel>
<channel id="MTV90s">
<display-name lang="hu">MTV 90s</display-name>
</channel>
<channel id="MTV00s">
<display-name lang="hu">MTV 00s</display-name>
</channel>Mert az elején vannak a port.hu-s verziók, majd jönnek a műsorok és amikor annak vége utána jönnek a musor.tv-s és tvmustrás channel id-k és utána azoknak a műsorai.
-
kovyhun
tag
válasz
Atomantiii #1130 üzenetére
Logban nem látszik semmi?
-
Atomantiii
addikt
válasz
kovyhun #1129 üzenetére
Ustym 4K-ra tudok segíteni elvileg hogy lehet elindítani.
Ketten teszteljük az EPG-t, az az érdekes, hogy egyszer jó, máskor nem és így váltakozik, de hogy miért nem értem egyáltalán. Tehát mindig vagy megakad 501 eseménynél vagy leszedi az 50 ezret. Az EPG.dat-ot leszedtem róla amikor megakad 501-nél de nem tudom mit tudok vele csinálni, érdekelne hol akad meg pontosan csak ugye ezt nem tudom megnyitni, hogy lássak is belőle valamit.
-
kovyhun
tag
válasz
Atomantiii #1127 üzenetére
Csak nálad vagy másnál is?
-
kovyhun
tag
válasz
Atomantiii #1125 üzenetére
Ustym 4K, Amiko Viper, Amiko Mira.
De inkább kihívás, érdekesség mint hasznos mert nem is nézzük, de jó a tudat hogy van -
Atomantiii
addikt
válasz
Atomantiii #1126 üzenetére
Na most másodjára már megint leakadt 501 eseménynél, de egyszerűen nem értem miért, utána meg megint leszedi teljesen,
-
Atomantiii
addikt
válasz
kovyhun #1124 üzenetére
Belenéztem a tiedbe, az is tele van amúgy felesleges cuccokkal itt-ott, de szerkezetileg ugyanez az enyém is, ezért nem értem miért nem tölti le mindig elsőre a beltéri.
Most felraktam a másik tárhelyemre onnan elsőre lehúzta most, persze kérdés, hogy a későbbiekben is menni fog-e elsőre.
-
kovyhun
tag
válasz
Atomantiii #1123 üzenetére
Tempest generálja majd ha végzett feltölti ide (8kor indul, 11-12 között végez):
http://iptv.nhely.hu/epg/Guide.xml.gz
M3: m3u8 linket próbálok generálni, így nem kell mindenféle kiegészítőt telepítgetni a beltérikre. (A központi steamlink zsákutca lett, mert csak egy csatornát és egy kliensnek tud kiszolgálni, pedig az viszi a yputube-ot is) -
Atomantiii
addikt
válasz
kovyhun #1122 üzenetére
Nekem is van mikor működik 6-ból 6-szor de van amikor meg nem. Szóval nem tudom mitől van, de majd átrakom a másik tárhelyemre is.
Mit generálsz az m3-ról? Enigma 2-es beltérin nézhető továbbra is csak a python kódon kellett kicsit variálni a korábbihoz képest, hogy menjen az új domainről is.
Esetleg átdobhatnád a legabbelt EPG-det, belekukkantanék nem-e nálam van valami gebasz benne, bár akkor meg máskor se futna le, szóval ezért nem értem mi van.
A korábbi 85 MB-s nyers fájlból takarítás után lett 33 MB, ami tömörítve is kb 2,5 MB környékén van a korábbi közel 4 MB helyett a 10 napra.
-
kovyhun
tag
Én a sajátomat feltöltöm a nethely-re is, most megpróbáltam, 6x töltöttem le, mindig ugyanannyit hozott le onnan, ugyanannyit mint helyi szerverről.
Így szerintem nem a tárhellyel lesz a gond.(Bár most van nálam is egy rejtély: az m3 link generáló programom amióta változás volt, nem működik a nethelyről meg málnáról. De ugyanez a program működik windows pc-re telepített apache+php-ről...)
-
Atomantiii
addikt
válasz
Atomantiii #1120 üzenetére
Arra jöttem rá, hogy nem nagyon számít az EPG mérete van, hogy most is csak 501 eseményt tölt le elsőre, de másodjára vagy harmadjára lehúzza a teljest, de van, hogy elsőre lefut teljesen. Fene se érti mi baja akkor.
-
Atomantiii
addikt
Ma reggel is kínlódott, de másodjára lefutott PC-n, a Raspberry-n még nem tudtam vele kísérletezni azóta.
Viszont azt néztem, hogy gyakorlatilag tele van felesleges cuccokkal a legrabbelt fájl, amivel a beltéri nem hiszem, hogy tud mit kezdeni, vagyis úgy sem jelenít meg mindent, pl szereplőket, értékeléseket, linkeket stb.
Ezeket most kitakarítottam az xml fájlból, így feleakkora lett a nyers xml, mint volt korábban így talán nem fog kínlódni amikor lehúzza a beltéri az adatot a tárhelyről.
De még vannak, akik a régi forrást (is?) használják (port.hu, mediaklikk, musor.tv) amin ugye már nem talál semmit sem, így aki még nem tette törölje a régit és frissítse a rytec.sources fájlt a beltérijén, amiben egy konyakmeggy nevű forrás van a korábbi 3 helyett a rytec Magyarország alatt.
-
Max500
tag
válasz
Atomantiii #1116 üzenetére
Ezért nem találja:
"WARNING: The script tv_grab_pyepg_hu_porthu is installed in '/home/atomantiii/.local/bin' which is not on PATH. Consider adding this directory to PATH or, ..."Vagy ha (most) nem akarod akkor /home/atomantiii/.local/bin/tv_grab_pyepg_hu_porthu -val is futtathatod.
#1117: Tegnap és is belefutottam ebbe, valamiért nem válaszolt időben a port.hu egyik szervere, remélem csak időszakos probléma.
-
Atomantiii
addikt
válasz
Atomantiii #1117 üzenetére
Másodjára lefutott szépen.
-
Atomantiii
addikt
válasz
Atomantiii #1116 üzenetére
-
Atomantiii
addikt
Hétvégén újraraktam a raspberry-n a rendszert így futtattam most a pip install git+https://github.com/pyepggrab/pyepggrab.git@typing-ext-override parancsot.
Utána ha kiadom a tv_grab_pyepg_hu_porthu --configure parancsot azt írja ki, hogy -bash: tv_grab_pyepg_hu_porthu: parancs nem található
-
Max500
tag
válasz
Atomantiii #1113 üzenetére
A /home/<felhasználód>/.xmltv/tv_grab_pyepg_hu_porthu.conf a config file (alapértelmezett) helye, viszont miért futtatod sudo-val? A scriptnek nincs szüksége root jogra.
Futtasd sudo nélkül. Ha ez megoldja akkor már a következőket ki se próbáld.
Ha nem jó még mindig akkor valószínűleg a régi python3-typing-extensions csomag miatt van (amit hiányol 'override' az csak a 4.4-től van benne, Debian 11 meg 3.7.4-et szállít). Githubra felraktam egy olyan verziót ami megköveteli a legalább 4.4-es typing_extensions-t. Így tudod kipróbálni:
1. pip uninstall pyepggrab
2. pip install git+https://github.com/pyepggrab/pyepggrab.git@typing-ext-override # Ha hiányozna neki a git akkor: apt install git
3. Most próbáld ki, hogy jó-e, ha igen akkor ki fogom adni a 0.1.12-t és csak utána menj tovább
4. pip uninstall pyepggrab # azért kell újra levenni, hogy visszatérj a rendes verziókra
5. pip install pyepggrab -
Atomantiii
addikt
Raspberry pi-n próbálom elindítani egyelőre sikertelenül:
sudo tv_grab_pyepg_hu_porthu --configure
Traceback (most recent call last):
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/configbase.py", line 11, in <module>
from typing import override # type: ignore # noqa: F401, RUF100
ImportError: cannot import name 'override' from 'typing' (/usr/lib/python3.9/typing.py)
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/local/bin/tv_grab_pyepg_hu_porthu", line 5, in <module>
from pyepggrab.grabbers.hu_porthu.hu_porthu import run
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/grabbers/hu_porthu/hu_porthu.py", line 16, in <module>
from pyepggrab.configmanager import ConfigManager
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/configmanager.py", line 26, in <module>
from pyepggrab.configbase import ConfigEncoder, ConfigRootBase, T
File "/home/atomantiii/.local/lib/python3.9/site-packages/pyepggrab/configbase.py", line 13, in <module>
from typing_extensions import override # type: ignore # noqa: F401, RUF100
ImportError: cannot import name 'override' from 'typing_extensions' (/usr/lib/python3/dist-packages/typing_extensions.py)Honnan szedné a tv_grab_pyepg_hu_porthu.conf fájlt? Van egy sima tv_grab_pyepg_hu_porthu fájl a usr/local/bin könyvtárban.
-
kovyhun
tag
válasz
Atomantiii #1111 üzenetére
Zero W.
Igazad van, használtan 3-as jobb vétel, mivel cserélgetik újabbakra, talán ki lehet fogni olcsót.
U.i.: Mikor vettem őket zero 4.500, 3-as 10 körül volt és elég volt a zero (adatgyűjtés). -
Max500
tag
válasz
Atomantiii #1104 üzenetére
Kint a 0.1.11 (~5 órája). +1 kategória és némi dokumentáció.
Majdnem megelőztelek, csak tegnap már nem jutottam oda hogy ki is adjam
-
Laszlo733
aktív tag
Sziasztok!
Saját NAS-ról tudom futtatni valahogy az EPG-t, hogy ne a tárhely szolgáltatótól kérje le az információkat, hanem saját belső IP cím alapján?
-
Atomantiii
addikt
Kicsit lentebb faragtam az epg fájl méretét, most kísérletként a 10 napot visszavettem 7 napra, hogy vajon így lefut-e mindig elsőre vagy sem.
Új hozzászólás Aktív témák
Hirdetés
- Formula-1
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- Hálózati / IP kamera
- Projektor topic
- Sony MILC fényképezőgépcsalád
- Luck Dragon: Asszociációs játék. :)
- Építő/felújító topik
- Szeged és környéke adok-veszek-beszélgetek
- Samsung Galaxy S25 Ultra - titán keret, acélos teljesítmény
- Házimozi haladó szinten
- További aktív témák...
- ThinkPad P1 Gen3 15.6" 4K IPS i7-10850H Quadro T1000 32GB 1TB NVMe magyar vbill ujjlolv IR kam
- Gamer Gép - MSI PRO H610M, Intel I7 12700KF, 32GB DDR4, RTX 4070 12GB , 4 TB M.2 SSD, 550W
- Samsung Galaxy S10+ 128GB, Kártyafüggetlen, 1 Év Garanciával
- Gamer Gép - ASUS TUF B660, Intel I9 14900K, 32GB DDR4, RTX 4070 SUPER , 4 TB M.2 SSD, 550W
- Intel Core i7 11700 - 4.9 GHz - 8mag/16szál - Eladó!
- BESZÁMÍTÁS! ASROCK B650 R5 7600X 32GB DDR5 1TB SSD RTX 3070 8GB MSI MPG Gungnir 100 Enermax 750W
- Laptop felvásárlás , egy darab, több darab, új , használt ! Korrekt áron !
- Azonnali készpénzes Microsoft XBOX Series S és Series X felvásárlás személyesen/csomagküldéssel
- Bomba ár! HP ZBook Studio G5 - XEON I 32GB I 512SSD I Nvidia I 15,6" 4K DreamColor I Cam I W11 I Gar
- BESZÁMÍTÁS! MSI B450M R5 5500 16GB DDR4 512GB SSD RTX 2070 8GB Rampage SHIVA FSP 650W
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Liszt Ferenc Zeneművészeti Egyetem
Város: Budapest