Kort fortalt: En crawler er et program som automatisk besøker URL-er, leser innholdet og følger lenker. Søkemotorer bruker den til å oppdage og kontrollere sider gjentatte ganger.
Hvordan jeg bruker en crawler i praksis
Jeg håndterer crawlere fra den enkleste testen til en mer kostbar diagnose. Først prøver jeg å gjenskape problemet, skille en innholdsfeil fra en malfeil og finne ut hvor mange adresser den påvirker. Jeg setter løsningen i drift på et lite utvalg, kontrollerer status og interne lenker, og utvider først deretter.
Hva du bør være oppmerksom på
En teknisk løsning bør ikke skjule svakt innhold. En crawler kan fjerne et hinder, men den skaper ikke en grunn til at noen skal besøke eller stole på siden. Derfor vurderer jeg løsningen sammen med URL-ens rolle, interne lenker og neste steg.
Spørsmål for beslutninger
- Hva returnerer serveren nøyaktig, og hva ser en person på en viktig URL?
- Er det en isolert feil eller et mønster i en delt mal?
- Hvilken påvirkning har det på synlighet, bruk eller konvertering?
- Hvordan skal vi teste endringen før full utrulling?