要約すると： クローリングとは、ロボットがコンテンツを読み込み、リンクをたどりながらURLを自動的に巡回することです。検索エンジンにとっては、ページがインデックス登録される可能性が生じる前の段階にあたります。
実務でクローリング（ウェブクローリング）をどう使うか
クローリング（ウェブクローリング）には、最も簡単なテストから、よりコストの高い診断へと段階的に取り組みます。まず問題を再現し、コンテンツのエラーとテンプレートのエラーを切り分け、影響するアドレス数を確認します。修正を小さなサンプルに適用し、ステータスと内部リンクを確認してから、対象範囲を広げます。
注意すべき点
技術的な解決策によって、弱いコンテンツを隠してはいけません。クローリング（ウェブクローリング）は障害を取り除けますが、人がページを訪れ、信頼する理由を生み出すことはできません。そのため私は、URLの役割、内部リンク、次のステップと合わせて修正を評価します。
意思決定のための質問
- サーバーは正確に何を返し、重要なURLで人には何が見えますか？
- それは孤立したエラーですか、それとも共有テンプレートに見られるパターンですか？
- 発見可能性、使いやすさ、またはコンバージョンにどのような影響がありますか？
- 広範囲に展開する前に、変更をどのようにテストしますか？