Kort gezegd: robots.txt is een tekstbestand in de hoofdmap van de host waarmee een website ondersteunde crawlers laat weten welke paden ze mogen ophalen. Het is geen betrouwbaar middel om URL’s uit een index te verwijderen.
Hoe ik robots.txt in de praktijk gebruik
In de praktijk gebruik ik de term robots.txt niet als zomaar een extra getal voor een presentatie. Eerst bepaal ik welke beslissing ermee preciezer moet worden, op welke gegevens of observaties die is gebaseerd en wie op basis van het resultaat iets zal veranderen. Ik controleer het daadwerkelijke bestand op elke host, regels voor een specifieke user-agent en of blokkeren voorkomt dat de content of de noindex-instructie wordt opgehaald. Ook leg ik de nulmeting, meetdatum en interpretatiegrenzen vast. Zo kan ik later een echte verschuiving onderscheiden van een verandering in de tool, steekproef of formulering van de zoekopdracht.
Waar je op moet letten
Het grootste risico is schijnbare precisie. Een geblokkeerde URL kan nog steeds in de resultaten verschijnen, zonder snippet, omdat de bot de noindex- of statusrespons niet leest. Daarom vergelijk ik het resultaat in de tijd, op basis van een stabiele steekproef en samen met de bedrijfscontext. Als de term niet leidt tot een concrete vervolgstap, heeft hij geen analyse opgeleverd, maar alleen een nieuw label.
Vragen voor besluitvorming
- Op welke bot is de regel van toepassing?
- Blokkeert de regel belangrijke CSS, JavaScript of pagina’s?
- Mag de URL niet worden gecrawld, of mag deze daadwerkelijk niet worden geïndexeerd?
- Vermeldt het bestand de juiste sitemap?