Saluti, questo sito: *** che apparentemente sembra un sito in html statico, in realtà è gestito da un CMS proprietario che richiama le pagine da un archivo residente sul server. Ho creato il file robots.txt e la sitemap del sito ed ho sottoposto il sito agli strumenti per webmaster di Google e Bing e ho ricevuto un messaggio nel quale mi si dice che una direttiva robots.txt blocca l'indicizzazione.
Il file robots.txt è questo: *** e mi sembra non contenga istruzioni disallow e noindex al suo interno che blocchino i crawler.
Ho ripristinato i permessi di file e cartelle, ma non era necessario perché la situazione non è cambiata. Il sito conviveva con una installazione di Wordpress vuota che ho rimosso perché aveva ricevuto un attacco malware simile a Bigpharma malware che genera migliaia di pagine fake automaticamente che rimandano a prodotti in vendita su siti terzi. Sul server non ci sono, ma venivano generate automaticamente e indicizzate nella sitemap che ho cancellato assieme a Wordpress. Potrebbe dipendere da .htaccess? Cosa devo cercare all'interno. A me sembra tutto normale anche se non sono particolarmente esperto di programmazione.
Cosa posso fare per risolvere questo problema?
Grazie!
Spero possiate darmi qualche prezioso suggerimento al riguardo.