En resumen: robots.txt es un archivo de texto situado en la raíz del alojamiento mediante el cual un sitio web indica a los rastreadores compatibles qué rutas pueden solicitar. No es una herramienta fiable para eliminar URL del índice.
Cómo uso robots.txt en la práctica
En la práctica, no uso el término robots.txt como otra cifra para una presentación. Primero determino qué decisión debería precisar, en qué datos u observaciones se basa y quién cambiará algo a partir del resultado. Compruebo el archivo real en cada alojamiento, las reglas para un agente de usuario concreto y si el bloqueo impide obtener el contenido o la directiva noindex. También registro la base de referencia, la fecha de medición y los límites de interpretación. Así puedo distinguir más adelante un cambio genuino de una variación en la herramienta, la muestra o la formulación de la consulta.
Qué conviene vigilar
El mayor riesgo es una precisión solo aparente. Una URL bloqueada puede seguir apareciendo en los resultados sin fragmento porque el bot no lee su noindex ni su respuesta de estado. Por eso comparo el resultado a lo largo del tiempo, con una muestra estable y junto con el contexto del negocio. Si el término no conduce a un siguiente paso concreto, no ha producido un análisis, sino solo una etiqueta nueva.
Preguntas para tomar decisiones
- ¿A qué bot se aplica la regla?
- ¿Bloquea CSS, JavaScript o páginas importantes?
- ¿La URL no debe rastrearse o realmente no debe indexarse?
- ¿El archivo incluye el sitemap correcto?