Kurz gesagt: Ein Crawler ist ein Programm, das automatisch URLs besucht, deren Inhalte liest und Links verfolgt. Suchmaschinen verwenden ihn, um Seiten zu entdecken und wiederholt zu prüfen.
Wie ich einen Crawler in der Praxis verwende
Ich gehe Crawler-Probleme von einem einfachen Test bis zur aufwendigeren Diagnose an. Zuerst versuche ich, das Problem zu reproduzieren, einen Inhaltsfehler von einem Template-Fehler zu trennen und herauszufinden, wie viele Adressen betroffen sind. Ich spiele die Korrektur an einer kleinen Stichprobe aus, prüfe Status und interne Links und erweitere sie erst danach.
Worauf Sie achten sollten
Eine technische Lösung sollte schwache Inhalte nicht verbergen. Ein Crawler kann ein Hindernis beseitigen, aber er schafft keinen Grund, warum jemand die Seite besuchen oder ihr vertrauen sollte. Deshalb bewerte ich eine Korrektur gemeinsam mit der Rolle der URL, der internen Verlinkung und dem nächsten Schritt.
Fragen für Entscheidungen
- Was gibt der Server genau zurück und was sieht eine Person auf einer wichtigen URL?
- Handelt es sich um einen isolierten Fehler oder ein Muster in einem gemeinsamen Template?
- Welche Auswirkungen hat das auf Auffindbarkeit, Nutzung oder Conversion?
- Wie testen wir die Änderung vor einem vollständigen Rollout?