クローラビリティを改善して巡回しやすいサイトにしよう
ウェブ上に公開されたページは、クローラーがサイトを巡回してインデックスされなければ、検索結果にも表示されません。
したがって、クローラーが巡回しやすいサイトにするということは、SEO内部対策にとって非常に重要な要素のひとつと言えます。
また、クローラーが巡回しやすいサイトにしておかなければ、クローラーが更新されたコンテンツを見つけることが難しくなり、新規で投稿したコンテンツなども含め、検索エンジンに反映されるのも非常に時間がかかってしまいます。
ということで、今回はクローラーにわかりやすいサイト設計にするための改善方法などをまとめたいと思います。
目次
クローラビリティを改善する方法
まず、クローラーは人間ではないため、コンテンツをデザインとして見ることができません。
そのため、クローラーはタグを読み取り、重要なキーワードやコンテンツのテーマなどの内容を把握しようとします。
そして、そのコンテンツ内に含まれる内部リンクを頼りにサイト内を巡回してクロールしていきます。
検索エンジンに評価されるためには、まずインデックスされることからはじまるため、クロールされなければ検索順位も付きません。
では、クローラーが巡回しやすいサイト設計とはどういった状態でしょうか？
それは、サイト内のディレクトリ構造や、内部・外部のリンク、を改善することが主な方法となります。
それでは、順番に説明していきます。
ディレクトリ構造を見直す
サイト内に重要なページがあったとします。
そして、その重要なページの階層を深くしてしまった場合、サイトの見せ方にもよりますが、ユーザーがそのページに辿り着くまでに数クリック必要となります。
それはクローラーも同じです。
しかし、クローラーは全てのページを巡回するわけではありません。
例えばトップページからやってきたクローラーは、いくつかのページを経由してその重要なページに辿り着くことになりますが、そこまでクロールしない場合もあります。
そのため、サイト構造をわかりやすくすることも重要ですが、コンテンツをカテゴライズする際にも注意が必要です。
もし、サイトのカテゴリを細かく分けて複雑にしすぎてしまい、クローラーが効率良く巡回できない状態の場合、重要なページを正しく認識することができない可能性があります。
内部リンクを見直す
先ほども説明しましたが、クローラーは内部リンクを辿ってクロールしていきます。
このため、コンテンツ内のテキストに関連性の高いテーマの記事があれば、内部リンクを設置しましょう。
Googleは、関連性の高いリンク先を評価します。上位表示させたいからと言って、関連性の低いページへの内部リンクは極力削除しておきたいところです。
また、設置する場所はコンテンツ内以外にも、関連記事を表示するプラグインなどもあるので、WordPressをお使いのサイトは、導入してみても良いかもしれません。
内部リンクに関しては下記の記事も参考にしてみてください。
外部リンクを見直す
クローラーはリンクを辿ってサイト内を巡回します。
それは内部リンクだけではなく外部リンクからも同じくクロールするため、外部リンクも大切です。
しかし、外部要素なため、こちらでは調整することができません。
被リンクを獲得するためにも、ユーザーの有益を優先させたコンテンツ作成を心がけましょう。
サイトマップを送信・更新する
クローラーにサイト内を効率よくクロールしてもらいたいなら、サイトマップ（sitemap.xml）にクロールが必要なページをまとめて、送信しておくことも大切です。
特にサイトのページが多い場合や、まだ立ち上げて間もない新しいサイトはクローラーの巡回を促すためにサイトマップは必要です。
サイトマップの作り方に関しては下記の記事を参考にしてください。
クロール状況をチェックする方法
この、クロールの数をチェックするためには、サーチコンソールのクロール＞クロールの統計情報から確認することができます。
その他にも、ページがインデックスされているかどうか？なども定期的に確認するようにしましょう。
クロールの統計情報を確認する
サーチコンソールでは、1日にどれくらいのページをクローラーが巡回したのかを確認することができます。
クローラーの巡回頻度が増えたからといって、検索順位に直接影響するわけではありませんが、質の高いコンテンツを用意しても、クローラーが効率よく巡回しない状態では、上位表示に期待できません。
サイト構造を簡潔にして、常にクローラーが巡回している状態にしておくことで、インデックスも早くなり、正しく評価してもらいやすくなります。
ここの1日あたりのクロール数が少ない場合は、サイト内がクロールしにくい状態になっている可能性が考えられます。
サイトを管理する上で、定期的に確認しておきましょう。
site:～を確認する
また、コンテンツを新規公開した場合、すぐにはインデックスされない時があります。
SEO対策のためにも公開した後には念のため、site:（ページURL）で検索してみてインデックスされているかどうか確認しましょう。
もし、しばらくしてもインデックスされないようでしたら、サーチコンソールの「Fetch as Google」を利用してクロールを促しましょう。
クローラビリティについてまとめ
クローラビリティの改善は、クローラーがサイト内を効率良く巡回してインデックスを促進させるためのもので、先にも述べましたが直接、検索順位を上げるためのものではありません。
ユーザーのためのサイト構造などの内部対策は、クローラーのためにもなります。
ユーザビリティだけではなく、クローラビリティにも考慮したサイトを心がけて、検索エンジンに認識してもらいやすい内部対策を目指しましょう。
