Kort gezegd: Crawlbudget beschrijft het aantal URL’s dat een zoekmachine gedurende een bepaalde periode op een website wil en kan crawlen. Het is vooral relevant voor grote of technisch problematische websites.
Hoe ik crawlbudget in de praktijk gebruik
Ik behandel crawlbudget met een aanpak die begint bij de eenvoudigste test en daarna overgaat naar duurdere diagnostiek. Eerst probeer ik het probleem te reproduceren, maak ik onderscheid tussen een contentfout en een sjabloonfout en stel ik vast hoeveel adressen erdoor worden geraakt. Ik voer de oplossing uit op een kleine steekproef, controleer status en interne links en breid pas daarna uit.
Waar je op moet letten
Een technische oplossing mag zwakke content niet verhullen. Crawlbudget kan een obstakel wegnemen, maar geen reden creëren om een pagina te bezoeken of te vertrouwen. Daarom beoordeel ik de oplossing samen met de rol van de URL, interne links en de volgende stap.
Vragen voor een beslissing
- Wat stuurt de server precies terug en wat ziet iemand op een belangrijke URL?
- Gaat het om een individuele fout of om een patroon in een gedeeld sjabloon?
- Wat is de impact op vindbaarheid, gebruik of conversie?
- Hoe testen we de wijziging vóór een brede uitrol?