Kort sagt: robots.txt är en textfil i värdserverns rotkatalog där en webbplats talar om för sökrobotar vilka sökvägar de får hämta. Det är inte ett tillförlitligt verktyg för att ta bort URL:er från ett index.
Så använder jag robots.txt i praktiken
I praktiken använder jag inte termen robots.txt som ännu ett presentationsnummer. Först fastställer jag vilket beslut den ska göra mer precist, vilka data eller observationer den bygger på och vem som ska ändra något utifrån resultatet. Jag kontrollerar den faktiska filen på varje värdserver, regler för en viss user agent och om blockeringen hindrar innehållet eller noindex-direktivet från att hämtas. Jag dokumenterar också utgångsläget, mätdatumet och tolkningsbegränsningarna. Då går det senare att skilja en verklig förändring från förändringar i verktyg, urval eller frågeformulering.
Vad du bör vara uppmärksam på
Den största risken är en precision som bara är skenbar. En blockerad URL kan fortfarande visas i resultaten utan ett utdrag eftersom roboten inte läser dess noindex eller statuskod. Därför jämför jag resultatet över tid, med ett stabilt urval och tillsammans med affärskontexten. Om termen inte leder till ett konkret nästa steg har den inte gett någon analys, bara en ny etikett.
Frågor för beslutsfattande
- Vilken bot gäller regeln för?
- Blockerar den viktig CSS, JavaScript eller viktiga sidor?
- Ska URL:en inte genomsökas, eller ska den faktiskt inte indexeras?
- Anger filen rätt sitemap?