要約： クローラーは、URL を自動的に訪問し、内容を読み取り、リンクをたどるプログラムです。検索エンジンはページの発見と継続的な確認にクローラーを使います。
実務でクローラーを扱う方法
クローラーには、最も簡単なテストから、より費用のかかる診断まで段階的に対応します。まず問題を再現し、コンテンツのエラーとテンプレートのエラーを切り分け、影響するアドレスの数を確認します。小規模なサンプルに修正を適用し、ステータスと内部リンクを確認してから、対象を広げます。
注意すべき点
技術的な解決策によって、弱いコンテンツを隠してはいけません。クローラーは障害を取り除けますが、誰かがページを訪れたり、信頼したりする理由を生み出すことはありません。そのため、URL の役割、内部リンク、次の行動と合わせて修正を評価します。
意思決定のための質問
- 重要な URL について、サーバーは正確に何を返し、人には何が表示されますか？
- 単発のエラーですか、それとも共有テンプレートにおけるパターンですか？
- 発見可能性、利用、コンバージョンにどのような影響がありますか？
- 全面展開の前に、変更をどのようにテストしますか？