Lyhyesti: Crawler on ohjelma, joka käy automaattisesti URL-osoitteissa, lukee niiden sisältöä ja seuraa linkkejä. Hakukoneet käyttävät sitä sivujen löytämiseen ja toistuvaan tarkistamiseen.
Miten käytän crawleria käytännössä
Käsittelen crawlereihin liittyvät ongelmat yksinkertaisimmasta testistä kalliimpaan diagnostiikkaan. Ensin yritän toistaa ongelman, erotan sisältövirheen mallipohjavirheestä ja selvitän, kuinka moneen osoitteeseen se vaikuttaa. Otan korjauksen käyttöön pienessä otoksessa, tarkistan tilan ja sisäiset linkit ja laajennan vasta sen jälkeen.
Mitä kannattaa huomioida
Tekninen ratkaisu ei saa peittää heikkoa sisältöä. Crawler voi poistaa esteen, mutta se ei luo syytä käydä sivulla tai luottaa siihen. Arvioin siksi korjausta yhdessä URL-osoitteen roolin, sisäisen linkityksen ja seuraavan askeleen kanssa.
Päätöksenteon kysymykset
- Mitä palvelin tarkalleen palauttaa ja mitä ihminen näkee tärkeässä URL-osoitteessa?
- Onko kyse yksittäisestä virheestä vai jaetun mallipohjan toistuvasta ongelmasta?
- Mikä on vaikutus löydettävyyteen, käyttöön tai konversioon?
- Miten testaamme muutoksen ennen sen laajaa käyttöönottoa?