Kurz gesagt: Crawling ist das automatisierte Aufrufen von URLs durch einen Roboter, der Inhalte lädt und Links folgt. Für Suchmaschinen geht es jeder möglichen Indexierung einer Seite voraus.
Wie ich Crawling (Web-Crawling) in der Praxis nutze
Beim Crawling (Web-Crawling) gehe ich vom einfachsten Test zu aufwendigeren Diagnosen über. Zuerst versuche ich, das Problem zu reproduzieren, einen Inhaltsfehler von einem Template-Fehler zu trennen und herauszufinden, wie viele Adressen betroffen sind. Ich spiele die Korrektur auf einer kleinen Stichprobe aus, prüfe deren Status und interne Links und erweitere sie erst danach.
Worauf Sie achten sollten
Eine technische Lösung darf schwache Inhalte nicht verbergen. Crawling (Web-Crawling) kann ein Hindernis beseitigen, aber keinen Grund schaffen, warum eine Person eine Seite besuchen oder ihr vertrauen sollte. Deshalb bewerte ich eine Korrektur gemeinsam mit der Rolle der URL, der internen Verlinkung und dem nächsten Schritt.
Fragen für die Entscheidung
- Was liefert der Server genau zurück, und was sieht eine Person unter einer wichtigen URL?
- Handelt es sich um einen isolierten Fehler oder um ein Muster in einem gemeinsamen Template?
- Welche Auswirkungen hat dies auf Auffindbarkeit, Nutzbarkeit oder Conversion?
- Wie testen wir die Änderung vor einem umfassenden Rollout?