Vorrei fare un programma che analizza un certo numero di pagine prodotto di **** per estrarre alcune informazioni.
Per fare questo utilizzo la libreria curl le cui funzioni sono inserite in un programma c++ che agisce in background in un server web socket.
Tuttavia **** riconosce il bot come tale e dopo alcune richieste lo blocca.
Ho modificato nell'header l'"User-agent", indicando quello di un browser comune, ma il problema persiste.
L'header che invio è il seguente
Host: ******
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: it-IT,it;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Connection: keep-alive, Upgrade
Pragma: no-cache
Cache-Control: no-cache
senza alcun cookie.
Se qualcuno ha sperimentato qualcosa di simile vorrei sapere come ha fatto a mascherare la richiesta come proveniente da umano.
grazie a chi mi può dare una mano