robots.txtとは? クローラーの最適化に必要な設定方法

SEOならSEOパック
ご利用実績8837件 (2017/02/25現在)
2016年04月08日 2016年09月08日

robots.txtとは? クローラーの最適化に必要な設定方法

robots.txtとはクローラーにサイトのクロールを制限するためのものです。

検索順位はクローラーと呼ばれるGoogleのボットが定期的にサイトを巡回し、各ページをインデックスしていき、そしてアルゴリズムによって順位付けを行います。

しかし、1度のクロールだけでは全てを読み取れないため、クローラーが定期的に巡回する回数を増やすことができればインデックスも早くなり、質の高いコンテンツを正しく評価することによって検索順位も上位表示が期待できるようになります。
そのため、robots.txtによって無駄なクロールを除外して最適化することが大切となります。

ということで今回は、クローラーの巡回を最適化するために必要なことの中で、robots.txtの設定についてご説明したいと思います。

SEO対策のすべてが揃うSEO Pack
検索1位!のサイト多数!【月額固定】7,980円(税込)の低価格SEO対策

なぜrobots.txtが重要なのか

robots.txtには主にクロールの可否が表記されています。(内容は任意です)
そして、このrobots.txtに巡回をブロックするページを指定することによって、無駄なクロールを防ぎ、重要なページを中心にクロールするようにします。
このクロールの最適化のためにrobots.txtが必要となるというわけです。

注意点として、ここでのクロールのブロックはGoogleのインデックスを制御することが目的ではなく、あくまでクローラーが無駄なく巡回できるように促すことが目的です。
インデックスをしてほしくない場合は別の、noindexなどで対応してください。

クローラーはどこから辿ってくるのか

クローラーは全てのページを巡回しているわけではありません。
サイトを立ち上げて、どこからもリンクされなければインデックスもされません。

クローラーは内部リンクも含めた「被リンク」から巡ってくるのです。
SEO対策に被リンクは重要ではなくなったという風潮ですが、これが未だに検索順位に大きな影響を与える理由です。
※被リンクから来たクローラーはrobots.txtでブロックしていても、制御できません。

もちろん、被リンクだけでも順位は上がりませんし、内容の薄いコンテンツも上位表示は難しいことから、充分な内容(コンテンツ)があり、さらに被リンクも付けることによって上位表示が期待できるということです。

robots.txtの書き方

では、robots.txtの書き方をご説明します。
基本の形はこちらです。

User-agent: *
Disallow:

Sitemap:http://example.com/sitemap.xml

では、順に説明していきます。

クローラーを指定する

まず、User-agent:で制御するクローラーを指定します。「*」は全てのボットを対象にするという意味です。

個別で指定する場合は、下記のようにボットを指定します。
また、複数指定する場合も追加して記述します。

User-agent:Googlebot
User-agent:Googlebot-Image
User-agent:bingbot
  • Googlebot(Googleウェブ検索のクローラー)
  • Googlebot-Image(Google画像検索のクローラー)
  • bingbot(Bingのクローラー)

この他にも様々なボットが存在します。
中でも以下のクローラーを拒否することによって、それぞれのサービスにアーカイブされることを制御することも可能です。

User-agent:Megalodon
User-agent:ia_archiver
  • Megalodon(ウェブ魚拓)
  • ia_archiver(Internet Archive)

ブロックするファイル(ディレクトリ)などを指定する

ボットを指定した後にクロールをブロックしたいファイルなどを指定します。
これは、ボットごとの指定が可能です。
例えば「Disallow:/」だとサイト全体がブロックされてしまいます。

Disallow:
Allow:
  • Disallow:(ブロックしたいファイル)
  • Allow:(許可したいファイル)

Allowの用途は、例えばDisallowでブロックしたディレクトリの中で、一部クロールしてほしいファイルなどがあれば許可します。

サイトマップを指定する

最後にサイトマップのurlを記述します。
このサイトマップの前には、必ず改行を入れて下さい。

Sitemap:http://example.com/sitemap.xml
検索順位に満足していますか?SEO Packなら今すぐSEO対策することができます!

クローラーの最適化に必要なrobots.txtについてまとめ

robots.txtで無駄なクロールを詳細にブロックする必要はありませんが、検索結果に表示する必要のないページなどあれば、クロールを制御しましょう。また、絶対に検索結果に表示させたくない場合は、robots.txtでブロックするのではなく、noindexで対応しましょう。

例えば、Googleの画像検索のボットからは特定のimgフォルダをブロックして、さらに全てのボットから、特定のファイル形式をブロックする場合だと、下記のように記述します。

User-agent:Googlebot-Image
Disallow: /img/A/

User-agent:*
Disallow: /*.xls$

Sitemap:http://example.com/sitemap.xml

robots.txtをアップする時は必ずサーチコンソールの「robots.txt テスター」で挙動を確認してください。また、併せてサイトマップも作成して送信しておきましょう。
サイトマップの作り方については下記の記事をご覧ください。

サイトマップの作り方と定期的な更新でクローラー対策
サイトマップ(xml)はクローラーにサイトを巡回するページをわかりやすく手助けするためにサーバーに置くものです。そのため新しくページを公開した場合には、絶対ではありませんが定期的な更新によって重要なページへのクロールを促進することが大切です。そもそも...

最後に、このrobots.txtとは、トップディレクトリに置くことが決められているため、気になるサイトのrobots.txtを見てみるのも良いでしょう。
※robots.txtは誰でも見ることができてしまうため、ログインページや見られたくないページは書かないようにしましょう。

SEO内部対策 トップに戻る
SEO内部チェックツール SEO内部チェックツール

SEO対策に
SEO Packをはじめませんか?

検索結果のランキングを決める重要な要素のひとつが「リンク」です。

SEO PackならSEOに重要なリンクをはじめ、SEOに関するノウハウやSEO対策をするための管理ツールが揃います。
また、内部対策の状態も確認することができ、改善方法などもご案内します。
  • 検索順位を上げたい
  • リンク対策をしたい
  • ある程度自分でSEO対策を把握したい
  • 対策中の順位推移を確認したい
  • 変動に強いSEO対策をしたい

上記にひとつでも当てはまる方は、SEO Packの導入をおすすめします。
お試しもご用意しておりますので、詳しくはサービスの内容・特長をご覧下さい。

SEOツールseodoor(せおどあ)に無料版が登場しました