Kort fortalt: Crawling er automatisk gennemgang af URL'er af en robot, der indlæser indhold og følger links. For søgemaskiner går det forud for enhver mulig indeksering af en side.
Sådan bruger jeg crawling (webcrawling) i praksis
Jeg angriber crawling (webcrawling) med den enkleste test først og dyrere diagnosticering senere. Først forsøger jeg at genskabe problemet, skelne en indholdsfejl fra en skabelonfejl og finde ud af, hvor mange adresser det påvirker. Jeg udruller rettelsen til en lille stikprøve, kontrollerer dens status og interne links og udvider først derefter.
Hvad skal man være opmærksom på
En teknisk løsning må ikke skjule svagt indhold. Crawling (webcrawling) kan fjerne en hindring, men kan ikke skabe en grund til, at en person besøger eller har tillid til en side. Derfor vurderer jeg en rettelse sammen med URL'ens rolle, interne links og næste skridt.
Spørgsmål til beslutningen
- Hvad returnerer serveren præcist, og hvad ser en person på en vigtig URL?
- Er det en isoleret fejl eller et mønster i en delt skabelon?
- Hvilken betydning har det for synlighed, brugervenlighed eller konvertering?
- Hvordan tester vi ændringen før en bred udrulning?