Errore recupero programmi Replay

[fabpolli]

Da ieri appare un errore nel tentativo di accedere ai programmi di raireplay con segnalazione d'errore di indice non valido nell'array. Dal log non è chiaro se è un problema di parametri di chiamata al servizio o se questo sta rispondendo in modo non conforme a quanto si aspetta lo script

[cttynul]

Ciao, vista l'assenza dello sviluppatore, in attesa che ritorni, ho deciso di forkare e mantenere un progetto parallelo a questo link https://github.com/cttynul/plugin.video.raitv ho testato poco fa tutte le funzioni e sembra rispondere correttamente, puoi provare se succede lo stesso anche sulla mia versione? Ed eventualmente farmi presente i passaggi da te effettuati?

[fabpolli]

Certamente, farò la prova, e ti farò sapere, ho visto che l'anomalia mi si presentava solo per i giorni dopo venerdì scorso. Comparerò il plugin attivo adesso con la tua versione, e ti faccio sapere. Grazie

[fabpolli]

Ciao, vista l'assenza dello sviluppatore, in attesa che ritorni, ho deciso di forkare e mantenere un progetto parallelo a questo link https://github.com/cttynul/plugin.video.raitv ho testato poco fa tutte le funzioni e sembra rispondere correttamente, puoi provare se succede lo stesso anche sulla mia versione? Ed eventualmente farmi presente i passaggi da te effettuati?

Ho installato la tua verione forkata, è più completa sotto il punto di vista della sezione on demand ma accedendo alla sezione Relay TV per la giornata di Domenica 29 Settembre ad esempio (ma anche Sabato) tentando di recupeare la lista di un canale (Es. Rai 2) riporta errore e nel log trovo:
2019-10-01 19:10:12.671 T:1305469664 ERROR: EXCEPTION Thrown (PythonToCppException) : -->Python callback/script returned the following error<--
- NOTE: IGNORING THIS CAN LEAD TO MEMORY LEAKS!
Error Type: <type 'exceptions.IndexError'>
Error Contents: list index out of range
Traceback (most recent call last):
File "/home/osmc/.kodi/addons/plugin.video.raitv/default.py", line 482, in
show_replay_tv_epg(date, channelId)
File "/home/osmc/.kodi/addons/plugin.video.raitv/default.py", line 224, in show_replay_tv_epg
programmes = raiplay.getProgrammes(channelId, date)
File "/home/osmc/.kodi/addons/plugin.video.raitv/resources/lib/raiplay.py", line 46, in getProgrammes
return response[channelName][0]["palinsesto"][0]["programmi"]
IndexError: list index out of range
-->End of Python script error report<--
2019-10-01 19:10:12.828 T:1364194016 ERROR: GetDirectory - Error getting plugin://plugin.video.raitv/?channel_id=Rai%202&date=29-09-2019&media=tv&mode=replay
2019-10-01 19:10:12.829 T:1915426352 ERROR: CGUIMediaWindow::GetDirectory(plugin://plugin.video.raitv/?channel_id=Rai%202&date=29-09-2019&media=tv&mode=replay) failed

Per i giorni antecedenti Giovedì invece i programmi vengono recuperati correttamente e si possono visualizzare senza problemi

[cttynul]

Il JSON chiamato risulta vuoto in alcuni giorni: https://www.raiplay.it/dl/palinsesti/Page-e120a813-1b92-4057-a214-15943d95aa68-json.html?canale=Rai1&giorno=28-09-2019

Probabilmente sarà cambiato l'URL per la richiesta del palinsesto replay, appena potrò farò un po' di reverse su Raiplay per cercare di fixarlo, grazie per la segnalazione!
Se riscontri nell'immediato altri problemi puoi segnalarli qui? Così facendo rilascio una nuova versione con tutti i fix del caso.

[fabpolli]

Se posso aiutare volentieri lo faccio, credo che sia un problema rai, modificando la data il JSON viene restituito in modo corretto (tipo il 23/09/2019), quello che si potrebbe fare è notificare la cosa in modo differente rispetto all'errore nel log in caso di JSOn vuoto.

[energywave]

Se capisco come diavolo fare reverse engineering potrei dare una mano anch'io, solo che sono un dev .net, di Python non ci capisco nulla (prima o poi...) Cosa usate per fare reverse? Whireshark o Fiddler? Ed essendo la richiesta https si riesce lo stesso a sniffare?
PS: non è meglio spostare la discussione sul repo di cttynul (che ringrazio per la voglia di prendere in mano la cosa!)

[nx-99]

Con il fork MaxBambi Replay funziona, confronta i file.

[cttynul]

@energywave io per il reverse di solito uso fiddler, credo sia l'unico sniffer a fare da man in the middle che riesca a forzare il contenuto SSL-strict. Tuttavia in questo caso non è necessario visto che tra le varie chiamate messe da dispositzione da RaiPlay ce n'è una con la lista di tutte le varie API.

@nx-99 grazie per la segnalazione, da un lato sono felice che ci sia qualcun altro che lavori al progetto.

Negli ultimi tempi mi sono dato al supporto della riscrittura di tutti i maggiori addon italiani, per renderli compatibili con l'imminente versione di Kodi 19, potete vedere i miei contributi anche con gli addon di Dplay (NeverWise/plugin.video.dplay#22) e Mediaset Play (NeverWise/plugin.video.dplay#22)
E sono tutti mirrorati nel mio repository personale, in caso vogliate installarlo nel vostro Kodi vi lascio il qui il link per aggiungere il tutto alle sorgenti da cui procedere all'installazione https://cttynul.github.io/repo/ nel caso vogliate avere la versione di Rai Play e di tutti gli altri addon italiani a cui collaboro potete tranquillamente prenderlo come riferimento, è un qualcosa che uso, principalmente, a fine personale tuttavia, riconosco, possa essere d'aiuto a qualcuno.

[nx-99]

@cttynul lodevole lavoro, visto che parli di addon italiani da sistemare, ti segnalo che anche nightflyer73/plugin.video.corrieretv ha smesso di funzionare.

[fabpolli]

Ho confrontato i due ropo, in effetti quello di max non accede al JSON ma alla pagina html e cerca i tag li per recuperare le info, il percorso usato è: https://www.raiplay.it/palinsesto/guidatv/lista/[idCanale]/[dd-mm-yyyy].html mentre quello originale e quello di cttnul richiede il JSON https://www.raiplay.it/palinsesto/app/old/[nomeCanale]/[dd-mm-yyyy].json che mi pare la soluzione più efficiente anche se quell'old nel percorso della rau non mi fa ben sperare per il futuro.
Non ho modo ti provarlo al volo perché non sono a casa ma accedento al percorso https://www.raiplay.it/palinsesto/app/old/Rai2/29-09-2019.json adesso ritorna un set di dati apparentemente valido, quindi come ipotizzavo prima il problema era loro e forse si è risolto.
Partendo dal fatto che sono un po' una pippa in Python comunque vorrei provare a mettere assieme i due script, ovvero se la chiamata JSON determina un errore nel recupero dello stesso provare passando dalla pagina web con la tecnica di max, che ne pensi?

[energywave]

Si, ho visto anch'io che quello di max fa lo scraping dell'html. Certo da programmatore il json mi sembra molto molto meglio (e soprattutto non si rischia che cambino una virgola nell'HTML e non funzioni più nulla...) Ad ogni modo l'errore suppongo sia durante il parse dei dati del JSON non durante la richiesta in se quindi la tua proposta finale equivale ad usare la versione di max. L'errore era di indice non compreso nell'intervallo. Potrebbe essere un valore non previsto da un'array di possibilità...?

[fabpolli]

Si, ho visto anch'io che quello di max fa lo scraping dell'html. Certo da programmatore il json mi sembra molto molto meglio (e soprattutto non si rischia che cambino una virgola nell'HTML e non funzioni più nulla...) Ad ogni modo l'errore suppongo sia durante il parse dei dati del JSON non durante la richiesta in se quindi la tua proposta finale equivale ad usare la versione di max. L'errore era di indice non compreso nell'intervallo. Potrebbe essere un valore non previsto da un'array di possibilità...?
In realtà l'errore derivava dalla return di un nodo che dovebbe essere presente nel JSON response[channelName][0]["palinsesto"][0]["programmi"]
ma che se non c'è non era trappato e mandava tutto in errore al log.
Ho fatto alcune modifiche alla versione di @cttynul e creato una pull request sul suo repo (a dire il vero l'ho fatta anche qui per errore) vediamo se anche secondo lui può essere una implementazione valida o meno.
Parsare l'html non piace neppure a me proprio perché se cambiano i tag nonva un tubo, ma come fallback non mi sembra malissimo

[cttynul]

@fabpolli in effetti non volevo fare lo switch dell'url così di brutto, specie perché, come te, quell'"old" nell'url dell'API è tutto meno che incoraggiante, avevo pensato, addirittura di dare una nuova linfa all'intero script andando a recuperare i vari URL delle chiamate, dal JSON principale che racchiude tutte le chiamate.
Terrò sotto occhio anche quella sezione dell'addon che, non vi nascondo, non abbia mai utilizzato finora, in caso si "rompa", potrei chiedervi di segnalare l'issue nel mio repository?

@energywave purtroppo quell'errore nel JSON è dovuto al fatto che, non so per quale motivo, la chiamata vada a buon fine sì, ma restituisca un array vuoto: https://www.raiplay.it/dl/palinsesti/Page-e120a813-1b92-4057-a214-15943d95aa68-json.html?canale=Rai1&giorno=28-09-2019
Per quanto mi riguarda, considerando che tutte queste major si appoggino a chiamate API (più o meno documentate) per quanto mi riguarda preferisco di gran lunga appoggiarmi a queste, piuttosto, che andare di webscraping, anche perché parliamo di siti web più che vivi (un esempio lampante è Dplay Plus) e alla luce della natura molto Javascriptiana rendendo tutto molto dinamico, è possibile che un addon scritto con il sistema di scraping web sia molto più soggetto a rompersi, un esempio lampante è proprio questo addon che, malgrado non sia stato seguitissimo, ha sempre funzionato (quasi) alla perfezione.

@nx-99 hai qualche altro addon italiano da "consigliare" oltre a quello del Corriere?

[nx-99]

@cttynul solo quello.

[fabpolli]

@cttynul non appena posso aggiorno l'addon nel raspy e verifico se da problemi, ho visto anche sul repo si maxbambi che ha una voce in più credo, quando posso controllo cosa fa e al limite te la sottopongo per mergiare anche quella se la ritieni interessante.
Hai sotto mano l'url del JSON principale a cui fai riferimento per darci un occhio?
Se li c'è tutto se il plugin si autoadattasse alle sezioni disponibili sarebbe una cosa spettacolare