クロール済み – インデックス未登録の原因と解決方法を解説!
公開日:
更新日:
webサイトのアクセス数が急に下がった、ページの順位がいつの間にか圏外になっていた、といったお悩みはないですか?
2024年3月から4月にかけて行われたGoogleのコアアップデートの影響をうけて、知らない間にサイトのページが、Googleのインデックスから削除されている可能性があります。※英語では、Crawled – Currently Not Indexed と言います。
「クロール済み – インデックス未登録」は、Googleのクローラーがコンテンツをクロールしているにも関わらず、インデックス登録がされていない状態で、インデックスが登録されていないページは検索エンジンに認識してもらうことができません。
これまで上位に表示されており、検索結果から流入を獲得していたページのインデックスが削除されてしまうと、サイト全体のアクセス数が下がってしまうだけでなく、最悪の場合、CVに繋がっていたページのアクセスがなくなってしまい、売上の減少に影響を及ぼしてしまう可能性があります。
本記事では、2024年3月のGoogleコアアップデートを受けて、「クロール済み – インデックス未登録」の概要から確認方法、解決方法や対処法をご紹介します。せっかく作成したコンテンツを適切に評価してもらうためにも、是非参考にしてください。
【2024年7月最新】3月〜5月のGoogleコアアップデートで、順位が下落したWebサイトの共通要因とその対応方法について
この資料では、「クロール済み-インデックス未登録」になってしまう原因と、「クロール済み-インデックス未登録」を事前に防ぐ方法がわかります。
クロール済み – インデックス未登録 とは?
「クロール済み – インデックス未登録」とは、検索エンジンが検索結果に表示するためのwebサイトの情報を収集するロボット(クローラー)がコンテンツをチェックした上で、何らかの理由でインデックスする価値がないと判断され、インデックスされていない状態のことを意味します。
インデックス登録されていないページは、検索結果に表示されないため、ユーザーが検索経由でページを探すことができなくなってしまいます。
補足:あくまで検索結果に表示されないので、リンクとして使うことは可能です。
時間が経てばインデックス登録される可能性もありますが、インデックスされなかったのには、必ず原因があるため、何もしなければこのまま登録される可能性は低いと考えたほうがいいでしょう。
そのため、「クロール済み – インデックス未登録」の状態となってしまった場合は、なぜインデックス未登録となってしまったかを確認し、コンテンツを改善するのか削除するのかを適切に判断することが必要となります。
特に、元々インデックスされていた複数のページが「クロール済み – インデックス未登録」になってしまったと場合は、共通した問題が発生している可能性があるため、そのままの状態にせず、原因を確認し、対処するようにしましょう。
検出 – インデックス未登録 との違い
「クロール済み – インデックス未登録」と似ているものとして、「検出 – インデックス未登録」というものがありますが、「検出 – インデックス未登録」は、そもそもクローラーが未回遊の状態、正確にはGoogleがURL自体は認識(検出)しているが、クロールまで至ってない状態のことを意味します。
「検出-インデックス未登録」については、以下の記事で詳細に解説を行っておりますので、気になる方はご覧ください。
関連記事:「検出-インデックス未登録」とはどんな状態?ページが表示されない原因と解決方法を詳しく解説!
クロール済み・インデックス未登録 | 検出・インデックス未登録 | |
---|---|---|
URLの発見 | ◯ | ◯ |
クロール | ◯ | ✕ |
インデックス登録 | ✕ | ✕ |
「検出 – インデックス未登録」は、いかに検索エンジンにページをクロールしてもらうかが課題ですが、今回の「クロール済み – インデックス未登録」は、クローラーに既にクロール済みのページをいかにインデックスしてもらうかが課題であるため、対応のアプローチが異なることを理解しておきましょう。
クロール済み – インデックス未登録 の確認方法
webサイトのインデックス状況は、Googleのサーチコンソールで確認することができます。
①Google Search Consoleを開く
②左メニュー「インデックス作成 – ページ」をクリック
③「クロール済み – インデックス未登録」をクリック
④該当ページを一覧で確認
この方法で該当ページの項目が表示された場合、何らかの理由でクロールされたにも関わらずインデックスがされていない、もしくは元々インデックスされていたのに削除されたという可能性があります。
クロール済み – インデックス未登録 になる6つの原因
「クロール済み – インデックス未登録」になるには、大きく6つの原因が考えられます。
特に前半の3つは、今までも一般的に言われていた内容ですが、2024年3月のGoogleコアアップデートでより強化された可能性があります。
- 1.低品質なコンテンツ(ヘルプフルコンテンツではない)
- 2.サイト内でコンテンツが重複している(カニバリになっている)
- 3.生成AIが作ったページ
- 4.検索の需要がない
- 5.メディア(画像など)がメインとなっているページ
- 6.feed(フィード)ページ
1.低品質なコンテンツ(ヘルプフルコンテンツではない)
ページがクロールされたものの、インデックスされない要因として、「低品質なコンテンツ(ヘルプフルなコンテンツではない)」であることが最も大きな要因としてあげられます。
Googleは、ヘルプフル(=ユーザーの役に立つ)コンテンツかどうか?を非常に重要視しており、特に2024年3月のコアアップデートで、ヘルプフルコンテンツではないページに対して、インデックスから削除することを明言し、アップデート終了時には全体の45%がこれに該当となり削除したことを報告しています。
”翻訳:2024年4月26日更新:4月19日現在、これらの変更の展開は完了しました。これにより、検索結果に表示される低品質でオリジナリティのないコンテンツは45%減少しました。”
Google公式ブログより
https://blog.google/products/search/google-search-update-march-2024/
内容が薄くユーザーの役に立たず、価値がないと判断されたページは、インデックス未登録になっている可能性がありますので、内容を大幅に見直すか、削除するなど対策が必要です。
低品質なコンテンツの一例
・サイトのテーマと関連性のないコンテンツ
・文字量の非常に少ないコンテンツ
・他人のサイトから情報をコピペ(転載)しただけのようなコンテンツ
・過剰に広告やバナー等が掲載されているコンテンツ
・検索結果を上げることだけを目的とした、不自然にキーワードが多く使用されているコンテンツ
特に社内の人員でコンテンツマーケティングを取り組んでいる場合、記事を作ることが目的(ノルマ)となってしまい、会社の事業やサービスとは全く関係ない、社員の個人的な内容の記事を作成してしまうケースがあります。
記事を作成する際は、まず誰に向けてのコンテンツなのかを明確にすることが基本となりますので、どんな人のためのヘルプフル(ユーザーの役に立つ)コンテンツなのかを心がけましょう。
2.サイト内でコンテンツが重複している(カニバリになっている)
サイト内で、カニバリ(コンテンツが重複)している場合も「クロール済み – インデックス未登録」になる場合があります。
カニバリ(カニバリゼーション)とは、サイト内に別の似通った内容のページが複数ある場合、Googleが混乱して評価が分散することを意味します。これによりどのページをインデックスするべきか判断するのが難しくなり、結果としてインデックスされないページが発生するというものです。
特に今回のアップデートで、インデックス未登録になった原因のひとつとして、このカニバリが大きな要因になっていることが考えられます。
現在カニバリは、単純なコンテンツとしての重複だけでなく、その記事がサイト内でどれだけオリジナリティ(ユニーク性)を持っているかが重要視されている可能性があります。
弊社の事例でも、いくつかインデックスされていたページが削除されたケースが発生し、原因を確認したところ、大半が、内容が完全に重複しているわけではないが、ユーザーの検索意図がサイト内で高い割合で被っており、削除されたと推測されるものでした。
これまで自社のコンテンツマーケティングに、力を入れていた企業ほど、ページの量が増えていき、コンテンツの重複割合が多くなってしまったために、インデックス削除が起きている可能性があります。
これからはコンテンツを数を増やすことも大事ですが、一つ一つのページの役割を明確にし、価値の高いコンテンツにしていくことが重要となります。
3.生成AIが作ったページ
ChatGPTの浸透により、記事を生成AIに作ってもらうという方も非常に多くなりました。生成AI自体は、新しい可能性を広げてくれるため非常に素晴らしい技術だと思いますが、SEOにおいては、その全てをAIに頼ることはおすすめできません。
なぜなら、Googleは、2024年3月のスパムアップデートで「生成AIを含む自動化の使用は、検索結果のランキングを操作することを主な目的とする場合、スパムであるというものです。」と明言しているからです。
”翻訳:Googleの長年のスパムポリシーは、生成AIを含む自動化の使用は、検索結果のランキングを操作することが主な目的であればスパムであるというものです。”
Google公式ブログより
https://developers.google.com/search/blog/2024/03/core-update-spam-policies
Googleがどこまでの範囲をAIで書いたと判断しているか定かではないですが、不安要素を取り除くためにもなるべく人の手で記事を書くことが一番有効であると言えます。
生成AIを使って書かれた記事かどうかを判定するツールはまだ少なく、精度も十分ではありませんが、もし自分以外の人が作った記事を検証したい場合は、ツールを利用して検査してもいいかもしれません。
4.検索の需要がない
検索の需要が存在しない(見るユーザーがいない)ページは、Googleにインデックスされたとしても、その後コンテンツの価値がないと判断され、インデックスから除外される場合があります。
webマーケティングの担当者は、記事がインデックスされた後も、検索の流入が獲得できているかを見るようにしましょう。
5.メディア(画像など)がメインとなっているページ
メディアファイルの画像や動画がメインとなっているページの場合、クローラーがコンテンツの価値を判断することが難しく、インデックス未登録になる場合があります。
画像がメインとなる記事の場合には、alt属性に説明を記載し、クローラーがコンテンツの価値を判断できるような状態にしましょう。
6.feed(フィード)ページ
feedページとは、webサイトの更新情報や概要などをまとめたページのことを指し、URLが「/feed」のものがこれに該当します。
feedページは、あくまでクローラーに最適にwebページを読み取ってもらうために作成するものなので、こちらに関してはインデックス未登録のままでも大丈夫です。
クロール済み – インデックス未登録 の解決方法
以上の原因を踏まえたうえで、インデックスさせたいページが、「クロール済み – インデックス未登録」となってしまった際の解決方法をご紹介します。
- 1.ページを統合する(カニバリの場合)
- 2.リライトして記事を改善する
1.ページを統合する(カニバリの場合)
カニバリが原因で、インデックスから削除されてしまった場合、後述する記事のリライトをしても根本的なサイト内部でのカニバリを解決することができず、改善後もインデックスがされない可能性があります。
カニバリが原因と考えられる場合は、無理にそのページをインデックスさせようとせず、既存のより良い関連のある記事に内容を追加する形で対応したほうが、対応の時間も短く、既存の記事の内容もより充実させることができるため、効果的な場合が多いと考えられます。
また、流入を獲得したいページに内容を統合した際、それ以外のページは非公開、もしくは削除するようにしましょう。残したままにしていると、サイト内でカニバリが起こったままになってしまうため、統合先の流入を獲得したいページの順位に悪い影響を及ぼしてしまう可能性があります。クローラーに適切にページを評価してもらうためにも、役割がないページは無理に残さず、適切に対処するようにしましょう。
また、ページを非公開や削除にする際は、そのページへのリンクもサイト内に残っていないか確認するようにしましょう。ページ内で遷移先が表示されないリンクが設置されていると、SEOの評価に悪い影響を与えてしまう可能性があります。
検索からの流入を獲得するうえで、インデックスさせることは重要ですが、記事を改善しようと思うと、かなり時間を要する場合もあるので、優先度高く対応するべきかどうかを判断したうえで対応することが大切です。
2.リライトして記事を改善する
次に、内容が薄く低品質なコンテンツであることが原因の場合は、リライト(コンテンツの改善)をして、記事の品質を大幅に改善することが重要です。一概にこうすれば品質が高くなると明言することは難しいですが、最低限、以下のポイントを見直すようにしましょう。
- ・ユーザーの役に立つ記事として、十分な内容になっているか
- ・検索キーワードに対し、ユーザーの検索意図を満たした内容になっているか
- ・AIやコピペ(転載)を使って制作した文章ではないか
特に、2024年3月から4月にかけて行われたGoogleのコアアップデートを踏まえるとヘルプフル(ユーザーの役に立つ)コンテンツであるかどうかは、今後重要視されると考えられます。
まずは、ユーザーの検索意図を踏まえたうえで、その記事がユーザーの役に立つコンテンツかどうかを常に意識するようにしましょう。
解決されるまでどれくらいの時間がかかるか?
実際に上記のような改善を行った際、クローラーが再びクロールしてインデックスしてくれるのを待ってもいいですが、場合によっては、3ヶ月~6ヶ月経ってもクロールしてもらえない可能性があります。
改善を実施した際は、Googleのサーチコンソール上で「インデックス登録のリクエスト」を行うことができるので、是非活用してみてください。
クロール済み – インデックス未登録 が解決しない場合、ページを削除すべきか?
ここまで「クロール済み – インデックス未登録」の原因や解決方法についてご紹介してきましたが、もしこれらの施策を踏まえたうえで、コンテンツを改善をしてもインデックス登録がされない、そもそもコンテンツの改善が難しいといった場合、そのページはどうするのが良いのでしょうか?
結論としては、削除する方が良いと言えます。
その理由としては、Googleはサイト全体で低品質なコンテンツが多い場合、他のコンテンツにも影響を及ぼす可能性があることを言及しているからです。
“翻訳:有用でないコンテンツの量が比較的多い場合は、サイトの他のコンテンツが検索で上位に掲載されなくなる可能性が多かれ少なかれあります。有用でないコンテンツを削除すれば、他のページの掲載順位の改善につながる可能性はあります。”
Google公式ブログより
https://developers.google.com/search/help/helpful-content-faq
ページを削除する際は、そのページへのリンクがサイト内に残っていないか必ず確認するようにしてください。他のページで遷移先が表示されないリンクが設置されていると、SEOの評価に悪い影響を与えてしまう可能性があります。
まとめ
今回は、「クロール済み – インデックス未登録」の原因と解決方法について解説していきました。
2024年3月のGoogleのコアアップデートでは、全体の約45%が低品質なコンテンツと判断され削除される結果となり、その影響を受けたサイトも少なくないと思います。
生成AIが普及し、僅かな時間でたくさんのコンテンツを生み出せるようになり、作業効率を大幅に高めることができるようになりましたが、それに伴いGoogle側もより「ユーザーに有益なコンテンツ」かどうかをより重要視するようになりました。
インデックスから削除されてしまうと、直接的なページからの集客が見込めなくなってしまうだけでなく、ページが残っていることによって間接的に他のページにも悪い影響を与えてしまう可能性があります。
「クロール済み – インデックス未登録」になった後の対処も重要ですが、今後新たなコンテンツを作成する際も、今回解説した原因を踏まえ、ユーザーに求められる(役に立つ)ようなコンテンツにすることを心がけましょう。
もし、今回のアップデートがどういうものだったかも含めて、コンテンツの削除になった原因や対処方法について知りたいという方は、是非下記の資料をご覧ください。
【2024年7月最新】3月〜5月のGoogleコアアップデートで、順位が下落したWebサイトの共通要因とその対応方法について
2024年3月から実施された、Google「コアアップデート」後、全体の45%のコンテンツが削除され、Googleの検索順位にも大きな変動が起こりました。
この資料では、今回行われたアップデートの内容と合わせて、コンテンツが削除になってしまった原因とその対応方法について解説しています。