Site scraping , navigazione automatizzata

di
gian82
il
8 risposte
gian82
gian82
Molto attivo
Iscritto da
gen, 2015
Messaggi:
1251

Site scraping , navigazione automatizzata

Ciao a tutti ,
cito Toki dal thred chiuso https://www.iprogrammatori.it/forum-programmazione/sviluppo-software/software-scova-email-t27400.html

>Il tuo sistema permette di creare macro di navigazione che: effettuano l'inserimento dati, il login, accettano i cookies per mantenere lo stato di >sessione, permettono di ciclare i nodi html, eseguire javascript come un normale browser utilizzato da un utente, ecc?

>La tematica del site scraping e automazione che spiegavo nei post precedenti si inserisce in contesti di business anche importanti
mi piacerebbe proprio fare un software come quello descritto da Toki,volevo chiedere se possibile un pò di informazioni in generale sullo scraping ed argomenti correlati ,

per lo sviluppo pensavo di usare per diversi punti il componente "web browser" di .net ,l'oggetto Timer ed altro
sarebbe utilissimo una lista delle funzionalità......
se qualcuno più esperto volesse elencare le funzionalità di cui sopra magari si riesce a fare un software accettabile, se non lo venderemo magari potremo fare un articolo per la sezione articoli,attendo la vostra opinione

8 Risposte

  • O
    oregon
    Super Famoso
    Iscritto da
    nov, 2011
    Messaggi:
    21785

    Re: Site scraping , navigazione automatizzata

    Ogni strumento di programmazione ha le sue possibilità. Bisogna prima individuare quale usare. E' un discorso troppo generico...
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1251

    Re: Site scraping , navigazione automatizzata

    Grazie oregon per la tua risposta
    >Ogni strumento di programmazione ha le sue possibilità. Bisogna prima individuare quale usare. E' un discorso troppo generico...
    sono d'accordo con te ,userei .net con c# e windows forms
    ti chiederei se hai tempo e voglia di elencare un elenco di funzionalità che l'applicazione dovrà assolvere ,se hai delle fonti un pò piu' articolate rispetto a wikipedia spero tu possa postarne il link
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1251

    Re: Site scraping , navigazione automatizzata

    Rispetto a chi vuole saperne di più sullo scraping indico come una fonte possibile https://en.wikipedia.org/wiki/Web_scrapin ,non cercate l'equivalente in italiano di Wikipedia ,è un po' scarno ....
  • +m+
    +m+
    Molto attivo
    Iscritto da
    gen, 2016
    Messaggi:
    712

    Re: Site scraping , navigazione automatizzata

    Mah... è la scoperta dell'acqua fredda, neppure calda.
    Gli approcci diciamo così semi-dilettanteschi prevedono l'automazione di browser, e questi vanno benino per siti tranquilli e lavori hobbystici.

    Quelli invece "hardcore" prevedono il contrario, cioè la creazione di versioni custom dei browser (ad es. basati webkit) in modo da avere un controllo pressochè perfetto sulla navigazione.
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1251

    Re: Site scraping , navigazione automatizzata

    Ho dato un occhio alla classe WebBrowser(.Net) e permette di fare un po' di cose interessanti fornendo un oggetto HtmlDocument che è valorizzato con la pagina appena scaricata ,avreste da indicarmi un software per web scraping per vedere di capire quali sono appunto le caratteristiche di un software di web scraping nel dettaglio...,
    grazie anticipatamente per una risposta
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1251

    Re: Site scraping , navigazione automatizzata

    Ciao e buona domenica a tutti ,
    volevo chiedere una vostra opinione , su questo sito ****** non ho trovato divieti rispetti allo scraping ( od attività simili) questo perchè l'accesso ai dati una volta pubblicati è libero oppure perchè si considera sottinteso il divieto ad utilizzare i dati pubblicati ad esempio per estrarre denominazione ed email(od altro)?
  • Toki
    Toki
    Moderatore
    Iscritto da
    gen, 2001
    Messaggi:
    3886

    Re: Site scraping , navigazione automatizzata

    Ho asteriscato il link. I termini e le condizioni dell'uso del sito in questione devi chiederle ai legittimi amministratori.
  • gian82
    gian82
    Molto attivo
    Iscritto da
    gen, 2015
    Messaggi:
    1251

    Re: Site scraping , navigazione automatizzata

    Ciao Toki , non volevo creare problemi inviando il link del sito ma
    non ho trovato sul sito delle informazioni esplicite rispetto all'utilizzo dei dati pubblicati,grazie per il consiglio comunque ho già scritto al sito chiedendo di capire meglio le condizioni d'uso,
    saluti
Devi accedere o registrarti per scrivere nel forum
8 risposte