Googleに「インデックスされない」ページとは？

あなたのサイトをGoogleの検索結果画面に載せてもらうには、まずGoogleがあなたのサイトを認識し、Googleのデータベースに登録してもらう必要があります。このデータベースを「Googleインデックス」、そこに登録されることを「Googleにインデックスされる」といいます。

新しいページを作ったり、既存ページを変更したりすると、ほとんどの場合は「しばらく」待っていれば勝手にGoogleがインデックスしてくれるはずです。しかし、そうならないケースもあるのです。

Google発言をもとに、ケース種別と解決策を説明します。

Googleがページを「インデックスしない」ケース？

先日(2015年8月19日)、Google上級スタッフの発言が米SEO界隈でちょっとした話題になりました。
発言はGoogleのジョン・ミューラー氏によるもので、彼は「Googleは（サイト内の）全ページのインデックスはしない」と断言しています。

We never index all pages, so you can’f always fix that. Do you see sites with important ones missing? That’d be a bug.

— John Mueller (@JohnMu) 2015年8月19日

※2024年5月時点では、@JohnMuのX（旧Twitter）アカウントが削除されています。

普通のページなのに、インデックスされない？

実は、経験を積んだウェブマスターにとっては、これは新しい情報ではありません。例えば、この発言を報じた米SEOメディア Search Engine Roundtable では、サイト内にあるうちの 95%のページ しか、Googleはインデックスしていない、といいます。

もちろんこのサイトがGoogleペナルティを受けているという可能性は限りなくゼロに近いでしょう。（おそらく世界中でも3本の指に入る著名SEOメディアです。）

ではなぜこんなことが起きるのでしょうか？

インデックスされない6つの原因とは

Googleがサイト、もしくはページをインデックスしてくれず、上位表示どころか検索結果のどこにも掲載されない、というケースは、いくつかの原因が思い当たります。主なものは下記です。

1. ペナルティを受けている
2. robots.txtやmetaタグで非掲載設定をしている
3. （canonicalタグ等で）重複コンテンツ扱いとなっている
4. カテゴリリストページなどの自動生成ページである
5. ドメインもしくはページができたばかりである
6. その他の理由

1. ペナルティを受けている

予期せぬインデックス非掲載が起きた場合、真っ先に心配してしまうのは、Googleペナルティの可能性でしょう。ガイドラインに沿わないスパム行為を行った（と判断された）サイトは、Googleからインデックス削除などのペナルティを課されることがあります。

ただし、普通のビジネスサイトやブログを運営していたり、ガイドラインを考慮した被リンク対策だけを行っているサイトなら、ペナルティが起こることはほぼ考えられません。

2. robots.txtやmetaタグで非掲載設定をしている

robots.txtやmetaタグで、Googleクローラーの巡回拒否を行う設定が可能です。この設定を行っていると、Googleはあなたのサイトをインデックスしてくれません。
robots.txt
robots.txtは、クローラーにアクセスできるURL、アクセスしてほしくないサイト（URL）を指示するファイルですが、
robots.txt上でアクセス拒否の設定に該当のサイト（URL）が含まれていると、クローラーの巡回をブロックする事に繋がります。
具体的には「Disallow」で以下のように記述します。

上記は、/wp-admin/配下のページへのクローラー巡回をブロックしています。

noindexタグ
ページのhtmlにnoindexタグが設定されていると、検索エンジンにインデックスしないでと伝える事となります。
noindexタグは、Googleの検索結果に出したくないページ、クローラーにインデックスしてほしくないページに設定します。
一般的な設定方法は、インデックスしてほしくないページのhtmlファイルのhead内部に次のようなタグを追加します。

ワードプレスなどCMSをご利用の場合は、設定にチェックを入れるだけでnoindexタグを設定できるようになっている場合もありますので確認してみましょう。

ただしrobots.txtやnoindexタグを追加する事は、ほとんどの場合コンテンツマーケティングの一環として「意図的に行った」ケースでしょう。サイト管理の引き継ぎにより前の管理者が設定していた内容を把握していなかった、ということもありえなくはないでしょうが、特にビジネスサイトやメインの運営ホームページで、インデックスさせたいページを非掲載設定することはまずないでしょう。

3. コピーコンテンツ扱いとなっている（canonicalタグ含む）

例えば２つの異なるURLがあって、しかしどちらもほとんど同じコンテンツを掲載していたら、Googleはどちらかを「オリジナルコンテンツ」、もう片方を「コピーコンテンツ」とみなし、コピー側を検索結果に表示しなくなることがあります。

インデックス削除されたページが、どこかのコンテンツのコピー（丸パクリ）であったなら、たぶんこのせいでしょう。しかし「意図せず丸パクリしてしまった」ということはなかなか考えにくいと言えます。

また、canonicalタグを用いてURL正規化（元ページと、同じコンテンツを掲載した重複ページを、正しく区別して扱うようGoogleに伝える方法）を行い正規ページを伝えた場合では、正規ページではない重複ページ側のURLはGoogle結果に表示されなくなります。もちろんこれも意図的なものなので、今回の「意図せずインデックス掲載されないケース」とは異なるでしょう。

4. カテゴリリストページなどの自動生成ページである

例えば本ブログでいう このページ のような、自動生成・更新されるカテゴリ一覧などのページであれば、Googleはインデックス掲載しないことがあります。

これは注意が必要かもしれません。カテゴリ一覧で何らかのマーケティングを行うつもりだった方は、覚えておいてもいいかもしれません。

5. 新規ドメインもしくは新規ページである

Googleはインデックス登録の際、Googlebotというクローラーをサイトに訪問させ、データを集めます。Googlebotは多くの場合、あらゆるサイトに掲載されたハイパーリンクをたどり、サイト（ページ）からサイト（ページ）へと移ってデータをクロールしてゆきます。

しかし制作したばかりのサイト（ページ）だと、誰からもリンクが貼られておらず、Googleがその新規サイトに気づくのに時間がかかる場合があります。たとえずっと以前に作ったサイトでも、新規ページだと、似たような理由で気づかれるのが遅くなるケースもあります。

これは、意図せぬインデックス非掲載の原因としては、割りと多く考えられるケースです。こうした際には、Googleサーチコンソールからクロール申請（URL検査）を行うことで、より早いインデックス登録を促すことができますが、最も有効なのは、平素から被リンク対策を行っておいて、頻繁なクローラー訪問が勝手に起こるよう促しておくことです。

6. その他の理由

上記のほかの、原因のわからない理由でインデックスがされないことも、実は少ないながら発生します。冒頭で挙げた米SEOメディアの例も、（少なくとも一部は）この原因不明の理由によるものではないかと思われます。

この米メディアの例では、95%しかインデックスされていないといいます。ページ数で言うと、全ページの数は 20,892 あり、そのうちインデックスされているのが 19,928 だけといいます。自動生成のニュースサイトならともかく、ほぼ執筆記事で二万ページ以上あるサイトはそう多くはないでしょう。ここまでの巨大サイトだと、稀な「その他の理由」でインデックスされないケースも出てきそうです。

なお、これもおそらく、サーチコンソールのURL検査によって解決できるでしょうが、千近くのページを洗い出してはURL検査する手間、そして（おそらく）他の記事で十分に検索トラフィックがまかなえていることを考えると、あまり得策ではなく、そのためこのサイトの管理者も放っておいているのだと思われます。

サーチコンソールでインデックス数を確認

googlesearchconsoleでインデックスされているページを確認してみましょう。
サーチコンソールはプロファイルを作成・登録しているwebサイトのレポートが確認できますが、
インデックス状況を確認できる「ページインデックス登録レポート」では、登録済ページと未登録のページが確認できます。

「ページインデックス登録レポート」の確認方法は、サーチコンソールの左メニュー「インデックス作成」項目の中の「ページ」を選択します。

インデックス未登録のページは、レポートページ下部の「ページがインデックスに登録されなかった理由」で確認・検証できますが、
理由の中で「検出 – インデックス未登録」というステータスを確認出来る場合があります。

「検出 – インデックス未登録」「クロール済み-インデックス未登録」とは？

サーチコンソール上で「検出 – インデックス未登録」とエラーが出ているページは、Googleがページの存在を確認しているにもかかわらず、インデックスされていない状態を表します。
また、「検出 – インデックス未登録」と似たメッセージに「クロール済み-インデックス未登録」がありますが、「クロール済み-インデックス未登録」というのは、Googleにクロールはされているがインデックスはされていない状態となります。
どちらもインデックス未登録となりますが、「検出 – インデックス未登録」のページはクロールもされていない状態となり、インデックスの対処法に違いがあります。

「検出 – インデックス未登録」の対処法

「検出 – インデックス未登録」となるページは、上述したとおり「クロールがされていないページ」となります。
クロールされない原因として、新規ページ（ドメイン）などの理由も含みますが「評価が低く重要と認識されていない」、または「孤立したページ」の可能性が考えられます。
対処法としては「xmlサイトマップが送信されているか」「内部リンク構造の見直し」「URL検査ツールでインデックスをリクエストする」という3点に着手すると改善される可能性が高いです。

クロールしてもらいやすいサイト構造にする

インデックスされないことが頻繁に起こる場合には、クローラビリティの改善を考えるべきかもしれません。クローラビリティの改善とはつまり、Googlebotがサイトの内部リンクを辿りやすくするようにし、インデックスされやすくする事でSEO効果を期待する方法です。
クローラビリティの改善方法としては、上述の「検出 – インデックス未登録」の対処法と同様に
「xmlサイトマップを送信する」「内部リンク構造の見直し」「URL検査ツールでインデックスをリクエストする」という方法が有効ですが、その他の有効な手段としては次のような方法があります。

• 質の高いページを作成する
• URL構造の最適化（シンプルなURLに）
• URLの正規化で重複ページを無くす
• パンくずリストの設定
• ファイルのサイズを減らす
• サーバーを最適化する
• インデックス制御
• 不要なアクセスをブロックする
• 被リンクを増やす

URL構造の最適化は、Google における URL 構造のベスト プラクティスにもあるようにURLはユーザーがわかりやすく、シンプルなURLを設定する事が進められています。
シンプルなURLにする事によりクローラーにも検索ユーザーにもどちらにも配慮したURLとなるので意識したいところです。

また、パンくずリストは内部リンク最適化の方法としても有効ですが、サイトに訪問したユーザーが自分の閲覧ページがサイト内のどこに存在するページか、という事がわかる他、クローラーもパンくずリストのリンクを辿りサイト内のページが認識しやすくなります。
パンくずリストの設置をしていないサイトは、手始めに設置する事を検討しましょう。

内部リンクの配置を工夫することで、Googlebotが新しく公開されたページや、更新されたページへ来やすくなります。個々のページの対応は時間がかかりますが、このような構造的な面を詰めていくことで、本質的な改善がなされるかもしれません。

基礎SEO対策で順位上昇とインデックス問題防止を

ここまで説明した中でも、多くの中小ビジネスサイトに関連がありそうなインデックスされない原因としては　5. 新規ドメインもしくは新規ページ　というものでしょう。

このケースの対策として有効なのは、事後のURL検査、および事前からの被リンク対策です。被リンクはガイドラインに沿ったリンクである必要があり、総合パッケージSEO Packでバランスよく対策が可能です。これ自体が順位上昇に直接効果があるSEO対策のため、サイト運用を始めたできるだけ早い段階から対策を始めるのがよいでしょう。
その他、サイト自体を普段から「クロールしてもらいやすいサイト構造にする」と、新規ページ追加時にクローラーが巡回しやすくなります。クロールしてもらいやすいサイト構造にする方法は「xmlサイトマップを送信する」「内部リンク構造の見直し」「URL構造の最適化」「URL正規化で重複ページを無くす」事など、日ごろからサイトの細かいメンテナンスが必要ですが、いざ、インデックスされない問題が発生した場合に、原因が突き止めやすくなります。

ただ時間の経過を待っていても、Googleインデックス登録がだんだん早くなったりはしにくく、また被リンク対策も容易にはできません。Googleにインデックスされないページ、あるいはインデックスされにくいページが現れたら、こうした基礎SEO対策を一度見なおしてみてください。