Em resumo: Crawling é a exploração automatizada de URLs por um robô que carrega conteúdo e segue links. Para os mecanismos de busca, ele precede qualquer possível indexação de uma página.
Como uso o crawling (rastreamento da web) na prática
Abordo o crawling (rastreamento da web) começando pelo teste mais simples e avançando para diagnósticos mais caros. Primeiro tento reproduzir o problema, separar um erro de conteúdo de um erro de template e descobrir quantos endereços ele afeta. Implemento a correção em uma pequena amostra, verifico seu status e os links internos e só então a amplio.
A que prestar atenção
Uma solução técnica não deve esconder um conteúdo fraco. O crawling (rastreamento da web) pode remover um obstáculo, mas não consegue criar um motivo para uma pessoa visitar ou confiar em uma página. Por isso, avalio a correção junto com o papel da URL, os links internos e o próximo passo.
Perguntas para a decisão
- O que exatamente o servidor retorna e o que uma pessoa vê em uma URL importante?
- É um erro isolado ou um padrão em um template compartilhado?
- Qual é o impacto na encontrabilidade, na usabilidade ou na conversão?
- Como testaremos a mudança antes de uma implementação ampla?