要点： robots.txtは、ウェブサイトが対応するクローラーに取得を許可するパスを伝える、ホストのルートに置かれたテキストファイルです。URLをインデックスから削除するための信頼できる手段ではありません。
実務でのrobots.txtの使い方
実務では、robots.txtという用語を、プレゼンテーション用の別の数字として扱うことはありません。まず、どの意思決定をより明確にするものなのか、どのデータや観察結果に基づくものなのか、その結果を受けて誰が何を変えるのかを確認します。各ホスト上の実際のファイル、特定のユーザーエージェントに対するルール、そしてブロックによってコンテンツやnoindexディレクティブの取得が妨げられていないかを確認します。さらに、ベースライン、測定日、解釈の限界も記録します。これにより、後から本当の変化と、ツール、サンプル、クエリの文言の変化を区別できます。
注意すべき点
最大のリスクは、見かけだけの精度です。ブロックされたURLでも、ボットがそのnoindexやステータスレスポンスを読み取らないため、スニペットなしで検索結果に表示されることがあります。そのため、安定したサンプルを使い、ビジネス上の文脈と合わせて、結果を時間の経過とともに比較します。この用語が具体的な次の行動につながらないなら、分析を生み出したのではなく、新しいラベルを増やしただけです。
意思決定のための質問
- このルールはどのボットに適用されますか？
- 重要なCSS、JavaScript、ページをブロックしていませんか？
- URLをクロールさせたくないのですか、それとも本当にインデックス登録させたくないのですか？
- ファイルには正しいサイトマップが記載されていますか？