Leggere ed interrogare dati pagina web...progetto

di il
3 risposte

Leggere ed interrogare dati pagina web...progetto

Salve a tutti
vorrei farvi una domanda ma spero di non ricevere insulti o imprecazioni

Sono un appassionato di informatica e fino a qualche tempo fa seguivo dei corsi per il linguaggio visual basic. Purtroppo i tempi sono cambiati , il tempo a disposizione sempre meno e ho perso diversi colpi. Vorrei realizzare un progetto di un piccolo programma o estensione per excel per interrogare dei dati da pagina web. Mentre analizzavo una pagina web di un sito che seguo, ho letto delle informazioni che vorrei interrogare ma non conosco il linguaggio di programmazione usato per il sito. Forse non ha nemmeno senso conoscerlo per il mio scopo, ma meglio se vi spiego. Vorrei ricavare in tempo reale, leggendo da una pagina web che cambia ogni secondo, dei dati da interrogare e poi inserire in un database per poi fare delle statistiche. Non so bene da che parte potrei iniziare per realizzare questo progetto...mi date dei consigli/mano?

Posso mettervi un esempio di dati che intendo se cè qualche interessato al mio progetto.

grazie in anticipo

3 Risposte

  • Re: Leggere ed interrogare dati pagina web...progetto

    Intanto bisogna verificare se sono necessarie delle autorizzazioni per fare ciò, nel senso che se i contenuti di quel sito sono coperti da copiright e tu li divulghi a tua volta potrebbero esserci dei problemi.

    Dal punto di vista tecnico, se non si tratta di ottenere semplicemente dei feed (tipo rss) e se il sito in questione non fornisce già delle api per interagire con i suoi contenuti, sostanzialmente si tratta di prelevare i dati dalla risposta http.
    In pratica devi usare i socket per aprire una connessione tra il tuo server e il server del sito.
    In php dovresti ispirarti all'esempio 2 di questa pagina: , con l'ulteriore complicazione di dover poi navigare nel DOM alla ricerca delle informazioni di interesse.

    ciao
  • Re: Leggere ed interrogare dati pagina web...progetto

    Io non ho interesse a divulgarli, vorrei solo inserirli in un database per statistiche altrimenti dovrei restare davanti alla pagina giorni...
    questa è la "ispezione del documento" con chrome


    e questi sono i campi che variano ogni secondo...



    come potrei operare?...considera che non sono molto affermato in campo web
  • Re: Leggere ed interrogare dati pagina web...progetto

    Riguardo la fase di cattura della risposta http trovi tutto il necessario nel link nella risposta precedente.
    Fatto ciò, devi isolare il corpo della richiesta (è puoi farlo in vari modi, dal momento che la risposta http è semplicemente un testo con una struttura ben definita), e poi navigare nella struttura della pagina html (il DOM) selezionando dapprima la tabella e poi ciclando sulle righe.
    Qui potresti trovare dei suggerimenti utili: , ma cercando su google puoi trovare anche varie librerie php che ti semplificano la vita.
    Dal momento che non puoi sapere a priori quando avvengono delle modifiche nel sito remoto (anche perché solitamente il codice html non finisce nella cache, altrimenti potresti ricavare "in automatico" quest'informazione), ti converrebbe avere un loop infinito con degli sleep in modo da campionare il sito ogni tot tempo, e poi inserire i dati nel database scartando i duplicati. Però php blocca l'esecuzione dello script se questa dura più di 30 secondi, quindi devi settare opportunamente la variabile max_execution_time nel file di configurazione php.ini.

    Prova a informarti su tutte queste tecnologie su google e prova a scrivere del codice, poi al massimo torni qui a chiedere aiuto.

    ciao
Devi accedere o registrarti per scrivere nel forum
3 risposte