En resumen: Un crawler es un programa que visita URL automáticamente, lee su contenido y sigue enlaces. Los motores de búsqueda lo utilizan para descubrir páginas y comprobarlas periódicamente.
Cómo utilizo un crawler en la práctica
Abordo los crawlers empezando por la prueba más sencilla y avanzando hacia diagnósticos más costosos. Primero intento reproducir el problema, separo un error de contenido de un error de plantilla y averiguo a cuántas direcciones afecta. Aplico la solución a una muestra pequeña, compruebo el estado y los enlaces internos, y solo después la amplío.
Qué conviene vigilar
Una solución técnica no debería ocultar un contenido débil. Un crawler puede eliminar un obstáculo, pero no creará una razón para que alguien visite o confíe en la página. Por eso evalúo la solución junto con la función de la URL, el enlazado interno y el siguiente paso.
Preguntas para la toma de decisiones
- ¿Qué devuelve exactamente el servidor y qué ve una persona en una URL importante?
- ¿Es un error aislado o un patrón de una plantilla compartida?
- ¿Qué impacto tiene en la capacidad de descubrimiento, el uso o la conversión?
- ¿Cómo probaremos el cambio antes de aplicarlo por completo?