Kort sagt: En crawler är ett program som automatiskt besöker URL:er, läser deras innehåll och följer länkar. Sökmotorer använder den för att upptäcka och återkommande kontrollera sidor.
Så använder jag en crawler i praktiken
Jag hanterar crawlers från det enklaste testet till en mer kostsam diagnos. Först försöker jag återskapa problemet, skilja ett innehållsfel från ett mallfel och ta reda på hur många adresser det påverkar. Jag genomför lösningen på ett litet urval, kontrollerar status och interna länkar och utökar först därefter.
Vad man bör vara uppmärksam på
En teknisk lösning bör inte dölja svagt innehåll. En crawler kan undanröja ett hinder, men den skapar ingen anledning för någon att besöka eller lita på sidan. Därför bedömer jag en lösning tillsammans med URL:ens roll, interna länkning och nästa steg.
Frågor för beslutsfattande
- Vad returnerar servern exakt, och vad ser en person på en viktig URL?
- Är det ett isolerat fel eller ett mönster i en gemensam mall?
- Vilken påverkan har det på upptäckbarhet, användning eller konvertering?
- Hur testar vi förändringen före en full utrullning?