Kort fortalt: robots.txt er en tekstfil i vertsroten der et nettsted forteller støttede roboter hvilke stier de kan hente. Den er ikke et pålitelig verktøy for å fjerne nettadresser fra en indeks.
Slik bruker jeg robots.txt i praksis
I praksis bruker jeg ikke begrepet robots.txt som et nytt tall til en presentasjon. Først fastslår jeg hvilken beslutning det skal gjøre mer presis, hvilke data eller observasjoner det bygger på, og hvem som skal endre noe basert på resultatet. Jeg kontrollerer den faktiske filen på hver vert, regler for en bestemt brukeragent, og om blokkeringen hindrer at innholdet eller noindex-direktivet blir hentet. Jeg registrerer også utgangspunktet, måledatoen og grensene for tolkningen. Da blir det senere mulig å skille et reelt skifte fra en endring i verktøyet, utvalget eller formuleringen av søket.
Dette bør du være oppmerksom på
Den største risikoen er en presisjon som bare er tilsynelatende. En blokkert nettadresse kan fortsatt vises i resultatene uten et utdrag fordi boten ikke leser noindex- eller statusresponsen. Derfor sammenligner jeg resultatet over tid, på et stabilt utvalg og sammen med forretningskonteksten. Hvis begrepet ikke fører til et konkret neste steg, har det ikke produsert en analyse, bare en ny etikett.
Spørsmål for beslutninger
- Hvilken bot gjelder regelen for?
- Blokkerer den viktig CSS, JavaScript eller sider?
- Skal nettadressen ikke gjennomsøkes, eller skal den faktisk ikke indekseres?
- Oppgir filen riktig sitemap?