Lyhyesti: robots.txt on isännän juurihakemistossa oleva tekstitiedosto, jonka avulla verkkosivusto kertoo tuetuille indeksoijille, mitä polkuja ne saavat hakea. Se ei ole luotettava tapa poistaa URL-osoitteita indeksistä.
Miten käytän robots.txt käytännössä
Käytännössä en käytä termiä robots.txt esityksen koristeena tai yhtenä lukuna muiden joukossa. Ensin määritän, mitä päätöstä sen pitäisi täsmentää, mihin tietoihin tai havaintoihin se perustuu ja kuka muuttaa jotain tuloksen perusteella. Tarkistan jokaisen isännän todellisen tiedoston, tietyn käyttäjäagentin säännöt sekä sen, estääkö esto sisältöä tai noindex-direktiivin hakemisen. Kirjaan myös lähtötason, mittauspäivän ja tulkinnan rajat. Näin myöhemmin voidaan erottaa todellinen muutos työkalun, otoksen tai kyselyn sanamuodon muutoksesta.
Mihin kannattaa kiinnittää huomiota
Suurin riski on näennäinen tarkkuus. Estetty URL-osoite voi edelleen näkyä hakutuloksissa ilman katkelmaa, koska botti ei lue sen noindex-direktiiviä tai tilavastausta. Siksi vertaan tulosta ajan mittaan, vakaassa otoksessa ja liiketoimintaympäristön kanssa. Jos termi ei johda konkreettiseen seuraavaan askeleeseen, se ei ole tuottanut analyysiä vaan ainoastaan uuden nimilapun.
Päätöksenteon kysymykset
- Mihin bottiin sääntö pätee?
- Estääkö se tärkeät CSS-, JavaScript- tai sivutiedostot?
- Pitäisikö URL-osoitetta olla ryömimättä vai pitäisikö se aidosti jättää indeksoimatta?
- Listataanko tiedostossa oikea sitemap?