In breve: Un crawler è un programma che visita automaticamente gli URL, ne legge i contenuti e segue i link. I motori di ricerca lo usano per scoprire e controllare ripetutamente le pagine.
Come uso un crawler nella pratica
Affronto i crawler partendo dal test più semplice fino alla diagnosi più costosa. Per prima cosa provo a riprodurre il problema, distinguo un errore di contenuto da un errore del template e verifico quanti indirizzi riguarda. Applico la correzione su un piccolo campione, controllo lo stato e i link interni e solo dopo la estendo.
A cosa prestare attenzione
Una soluzione tecnica non dovrebbe nascondere contenuti deboli. Un crawler può rimuovere un ostacolo, ma non creerà un motivo per visitare o considerare affidabile la pagina. Valuto quindi una correzione insieme al ruolo dell'URL, ai collegamenti interni e al passo successivo.
Domande per prendere decisioni
- Cosa restituisce esattamente il server e cosa vede una persona su un URL importante?
- È un errore isolato o uno schema in un template condiviso?
- Qual è l'impatto su reperibilità, utilizzo o conversione?
- Come testeremo la modifica prima della distribuzione completa?