In breve: robots.txt è un file di testo nella radice dell’host attraverso il quale un sito web comunica ai crawler supportati quali percorsi possono elaborare. Non è uno strumento affidabile per rimuovere gli URL dall’indice.
Come utilizzo robots.txt nella pratica
Nella pratica, non utilizzo il termine robots.txt come un altro numero da inserire in una presentazione. Prima stabilisco quale decisione dovrebbe rendere più precisa, su quali dati o osservazioni si basa e chi cambierà qualcosa in base al risultato. Controllo il file effettivo su ogni host, le regole per uno user agent specifico e se il blocco impedisce di recuperare il contenuto o la direttiva noindex. Registro anche la baseline, la data della misurazione e i limiti d’interpretazione. In questo modo è possibile distinguere in seguito un cambiamento reale da una variazione dello strumento, del campione o della formulazione della query.
A cosa prestare attenzione
Il rischio maggiore è una precisione solo apparente. Un URL bloccato può comunque comparire nei risultati senza snippet, perché il bot non legge il suo noindex o la risposta di stato. Perciò confronto il risultato nel tempo, su un campione stabile e insieme al contesto aziendale. Se il termine non porta a un’azione concreta successiva, non ha prodotto un’analisi, ma solo una nuova etichetta.
Domande per prendere decisioni
- A quale bot si applica la regola?
- Blocca CSS, JavaScript o pagine importanti?
- L’URL non dovrebbe essere sottoposto a crawling o, realmente, non dovrebbe essere indicizzato?
- Il file elenca la sitemap corretta?