Kurz gesagt: Das Crawl-Budget beschreibt die Anzahl der URLs, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf einer Website crawlen möchte und kann. Es ist vor allem für große oder technisch problematische Websites relevant.
Wie ich das Crawl-Budget in der Praxis nutze
Ich nähere mich dem Crawl-Budget vom einfachsten Test hin zu aufwendigeren Diagnosen. Zuerst versuche ich, das Problem zu reproduzieren, einen Inhaltsfehler von einem Template-Fehler zu trennen und herauszufinden, wie viele Adressen betroffen sind. Ich spiele die Korrektur auf einer kleinen Stichprobe ein, prüfe Status und interne Links und erweitere sie erst danach.
Worauf Sie achten sollten
Eine technische Lösung darf schwache Inhalte nicht verdecken. Das Crawl-Budget kann ein Hindernis beseitigen, aber keinen Grund schaffen, eine Seite zu besuchen oder ihr zu vertrauen. Deshalb bewerte ich die Korrektur gemeinsam mit der Rolle der URL, der internen Verlinkung und dem nächsten Schritt.
Fragen für eine Entscheidung
- Was gibt der Server genau zurück und was sieht eine Person auf einer wichtigen URL?
- Handelt es sich um einen Einzelfehler oder um ein Muster in einem gemeinsamen Template?
- Welche Auswirkungen hat das auf Auffindbarkeit, Nutzung oder Conversion?
- Wie testen wir die Änderung vor einer umfassenden Einführung?