クロールとは
クロール（Crawl）とは、Googlebotなどの検索エンジンのロボット（クローラー）がWebサイトを巡回し、ページのコンテンツや内部リンクを収集する作業のことです。クロール→インデックス→ランキングという検索エンジンの基本的な処理フローの最初のステップです。
クロールの仕組み
Googlebotはまず既知のURLリストを元に各ページを訪問し、ページ内のリンクをたどって新しいURLを発見していきます。クロール頻度はサイトの更新頻度・被リンク数・サーバー応答速度などによって変動します。
クロールされにくいケース
①robots.txtでクロールを拒否している、②サーバーの応答が遅い・エラーが多い、③JavaScriptのみで生成されるコンテンツ（SPA等）、④内部リンクが少なく到達しにくいページ、⑤nofollow属性が多用されているサイトはクロールが不十分になります。
クロール最適化の方法
XMLサイトマップの送信・適切なrobots.txt設定・サーバー応答速度の向上・内部リンクの充実・定期的なコンテンツ更新がクロール効率を高めます。Googleサーチコンソールの「クロール統計情報」でGooglebotの訪問状況を確認できます。
