Kurz gesagt: robots.txt ist eine Textdatei im Stammverzeichnis des Hosts, über die eine Website unterstützten Crawlern mitteilt, welche Pfade sie abrufen dürfen. Sie ist kein zuverlässiges Werkzeug, um URLs aus einem Index zu entfernen.
Wie ich robots.txt in der Praxis nutze
In der Praxis verwende ich den Begriff robots.txt nicht als weitere Zahl für eine Präsentation. Zuerst bestimme ich, welche Entscheidung dadurch präziser getroffen werden soll, auf welchen Daten oder Beobachtungen sie beruht und wer aufgrund des Ergebnisses etwas ändern wird. Ich prüfe die tatsächliche Datei auf jedem Host, Regeln für bestimmte User-Agents sowie, ob die Blockierung verhindert, dass Inhalte oder die Noindex-Anweisung abgerufen werden. Außerdem dokumentiere ich die Ausgangsbasis, das Messdatum und die Grenzen der Interpretation. So lässt sich später unterscheiden, ob tatsächlich eine Veränderung eingetreten ist oder ob sich nur Tool, Stichprobe oder Formulierung der Suchanfrage geändert haben.
Worauf Sie achten sollten
Das größte Risiko ist eine nur scheinbare Präzision. Eine blockierte URL kann weiterhin in den Ergebnissen erscheinen, allerdings ohne Snippet, weil der Bot ihre Noindex-Anweisung oder Statusantwort nicht liest. Deshalb vergleiche ich das Ergebnis im Zeitverlauf, anhand einer stabilen Stichprobe und gemeinsam mit dem geschäftlichen Kontext. Wenn der Begriff nicht zu einem konkreten nächsten Schritt führt, hat er keine Analyse hervorgebracht, sondern nur ein neues Label.
Fragen für Entscheidungen
- Für welchen Bot gilt die Regel?
- Blockiert sie wichtige CSS-Dateien, JavaScript oder Seiten?
- Soll die URL nicht gecrawlt oder tatsächlich nicht indexiert werden?
- Listet die Datei die richtige Sitemap auf?