En resumen: El crawling es el recorrido automatizado de URL por parte de un robot que carga contenido y sigue enlaces. Para los motores de búsqueda, precede a la posible indexación de una página.
Cómo utilizo el crawling (rastreo web) en la práctica
Abordo el crawling (rastreo web) empezando por la prueba más sencilla y avanzando hacia diagnósticos más costosos. Primero intento reproducir el problema, separo un error de contenido de un error de plantilla y averiguo a cuántas direcciones afecta. Implemento la corrección en una muestra pequeña, compruebo su estado y los enlaces internos y solo después la amplío.
Qué debes tener en cuenta
Una solución técnica no debe ocultar un contenido débil. El crawling (rastreo web) puede eliminar un obstáculo, pero no puede crear un motivo para que una persona visite o confíe en una página. Por eso evalúo la corrección junto con la función de la URL, el enlazado interno y el siguiente paso.
Preguntas para la decisión
- ¿Qué devuelve exactamente el servidor y qué ve una persona en una URL importante?
- ¿Es un error aislado o un patrón de una plantilla compartida?
- ¿Qué impacto tiene en la visibilidad, la usabilidad o la conversión?
- ¿Cómo probaremos el cambio antes de aplicarlo ampliamente?