インデックス数が減少していく！？原因と調査と結論

検索エンジンのインデックス数がガクンと減った…なんで？

思い描いていた未来像が大きく崩れる感覚がした。これは何とかしなくては…ってことで調べてみたこと、そして、それを踏まえてどういう対応を行ったのかなどをまとめました。

インデックスの減少を調査しようと思った理由

検索エンジンからの検索数増加を楽しみにしている最中、ある日突如としてインデックス数が減少し始めていることに気付いた。

その減り方は異様そのもの。ガクンという音がしそうな減り方をしている。これはなんだ…とテンパり、途方に暮れること数秒。原因を特定しないと…ってことで調べることにした。

インデックス数が減少していく理由

一概には言えないながらも、検索エンジンから自身のブログなどのインデックスが減少していくのには次のような要因が考えられるようです。

要因	詳細
サイトの技術的な変更	テーマの更新、プラグインの導入、サイトの移転などにより、ページが正しくインデックスされなくなる可能性があります。
クロールの問題	サーバー設定、robots.txtファイル、`noindex`タグの設定により、Googleのクローラーがページを適切にクロールできない場合があります。
コンテンツの品質	低品質なコンテンツはGoogleによってインデックスから除外されることがあります。
Googleのアルゴリズム更新	Googleのコアアップデートにより、特定のページやコンテンツが再評価され、インデックスから除外されることがあります。

具体的に言うと…

サイトの技術的な変更

技術的な変更	詳細	インデックス数への影響
テーマの変更	サイトのデザインや構造を変更すること。特にSEO対策が施されていないテーマへの変更。	検索エンジンへの適切な情報伝達が阻害され、インデックス数の減少や検索順位の低下を招く可能性があります。
プラグインの導入・更新	新たなプラグインの追加や既存プラグインの更新。特にキャッシュ系やAMP対応プラグイン。	設定ミスやテーマとの相性問題でページが正しく表示されず、結果としてインデックスから除外されることがあります。
サイトの移転やURL構造の変更	サイト全体の移転やURLの再構築。	適切なリダイレクト設定が行われていないと、旧URLがインデックスから削除され、新URLがインデックスされない状況が発生します。
サーバー設定の変更	サーバーの設定変更やセキュリティ強化。	クローラーのアクセスが制限され、ページがクロールされず、インデックスされない可能性があります。
サイトマップの更新忘れ	新しいページの追加や既存ページの更新後にサイトマップを更新しないこと。	検索エンジンが変更を認識できず、インデックスに反映されないことがあります。

クロールの問題

詳細	影響
robots.txtファイルの設定ミス	誤った設定により、重要なページへのクロールが制限され、インデックスされない。
noindexタグの誤用	意図せず`<meta name="robots" content="noindex">`タグが設定され、重要なページがインデックスから除外される。
サーバーエラーやダウンタイム	サーバーのダウンやエラーにより、クローラーがページにアクセスできず、インデックスが削除される可能性がある。
ページのロード時間の遅延	ページの読み込み速度が遅いと、クローラーがタイムアウトし、ページがインデックスされない。
内部リンクの不足	内部リンクが不足していると、クローラーが特定のページを発見できず、インデックスされない。
重複コンテンツの存在	同一または類似したコンテンツが複数のURLで存在すると、どのページをインデックスすべきか判断が難しくなり、一部のページがインデックスされない。
サイトマップの未更新	サイトマップが最新でないと、新しいページや更新されたページがクローラーに認識されず、インデックスが遅れる。

コンテンツの品質

要因	詳細	影響
自動生成コンテンツ	プログラムによって機械的に生成された文章で、独自性やユーザーへの有益性が低いもの。	ユーザーの期待を満たさず、検索エンジンから低評価を受け、インデックスから除外される可能性があります。
内容の薄いコンテンツ	情報量が少なく、ユーザーに新たな知見や価値を提供しないコンテンツ。	ユーザーの満足度が低下し、滞在時間や直帰率に悪影響を及ぼし、検索順位の低下を招くことがあります。
ユーザーの検索意図を満たさないコンテンツ	ユーザーが求める情報や解決策を提供できていないコンテンツ。	ユーザーの離脱率が高まり、検索エンジンからの評価が下がり、インデックス数や順位に悪影響を及ぼします。
無断複製されたコンテンツ	他サイトから許可なくコピーされたコンテンツ。	著作権侵害のリスクがあり、検索エンジンからペナルティを受け、インデックスから削除される可能性があります。
誘導ページ（ドアウェイページ）	特定のキーワードで上位表示させ、ユーザーを別ページに誘導することを目的としたページ。	ユーザーに価値を提供せず、検索エンジンのガイドライン違反となり、サイト全体の評価低下やインデックス削除のリスクがあります。

Googleのアルゴリズム更新

要因	詳細	影響
コアアップデート	検索アルゴリズム全体の大規模な見直し。年に数回実施され、検索結果の表示順位に大きな変動をもたらす。	高品質なコンテンツが評価され、低品質なコンテンツは順位が下落する可能性がある。サイト全体のトラフィックやインデックス数に影響を及ぼす。
パンダアップデート	コンテンツの質を評価し、低品質なコンテンツを含むサイトの順位を下げる。	低品質なコンテンツや重複コンテンツを持つサイトの検索順位が下落し、インデックス数が減少する可能性がある。
ペンギンアップデート	不自然な被リンクやスパム的なリンク手法を取り締まる。	不正なリンク戦略を行っているサイトの順位が下落し、インデックスから除外されるリスクがある。
ハミングバードアップデート	検索クエリの意図をより深く理解し、適切な結果を提供する。	コンテンツの関連性が高まることで、ユーザーの検索意図に合致しないページの順位が下がる可能性がある。
BERTアップデート	自然言語処理を強化し、検索クエリの文脈をより正確に理解する。	コンテンツがユーザーの検索意図に適合していない場合、順位が下落する可能性がある。

インデックス減少原因を特定するための確認手順

上記のような要因が原因として考えられるけど、特定することは難しい。というかできない。

その人、その環境によって要因は変わるはずだから。だから可能性が高く影響の多い部分からチェックしていくしかないはず。そして、それは次のような手順で進めることで効率よく進めることができるはず。

手順 確認内容 詳細

1 サーバーの稼働状況とエラーログの確認 サーバーが正常に稼働しているか、エラーログに問題がないかを確認します。サーバーエラーやダウンタイムは、クローラーのアクセスを妨げ、インデックス数の減少につながる可能性があります。

2 robots.txtファイルの設定確認 robots.txtファイルの設定を確認し、重要なページへのクロールが誤って制限されていないかをチェックします。設定ミスは、特定のページがインデックスされない原因となります。

3 メタタグの確認 各ページの<meta name="robots" content="noindex">タグを確認し、意図せず重要なページがインデックスから除外されていないかを確認します。

4 プラグインの導入・更新履歴の確認 最近導入または更新したプラグインが、サイトの表示やクロールに影響を及ぼしていないかを確認します。特にキャッシュ系やAMP対応のプラグインは注意が必要です。

5 サイトの技術的な変更履歴の確認 テーマの変更、URL構造の変更、サイト移転など、最近行った技術的な変更がインデックス数に影響を与えていないかを確認します。

6 サイトマップの更新状況の確認 サイトマップが最新の状態であるかを確認し、必要に応じて更新し、Google Search Consoleなどを通じて再送信します。

7 内部リンクの確認 サイト内の内部リンク構造を確認し、クローラーが全てのページにアクセスできるよう適切にリンクが設定されているかをチェックします。

8 コンテンツの品質確認 自動生成コンテンツや内容の薄いコンテンツが含まれていないか、ユーザーの検索意図を満たす高品質なコンテンツが提供されているかを確認します。

9 Googleのアルゴリズム更新の確認 最近のGoogleアルゴリズムの更新情報を確認し、自サイトのコンテンツやSEO施策が最新のガイドラインに適合しているかをチェックします。

手順	確認内容	詳細
1	サーバーの稼働状況とエラーログの確認	サーバーが正常に稼働しているか、エラーログに問題がないかを確認します。サーバーエラーやダウンタイムは、クローラーのアクセスを妨げ、インデックス数の減少につながる可能性があります。
2	robots.txtファイルの設定確認	`robots.txt`ファイルの設定を確認し、重要なページへのクロールが誤って制限されていないかをチェックします。設定ミスは、特定のページがインデックスされない原因となります。
3	メタタグの確認	各ページの`<meta name="robots" content="noindex">`タグを確認し、意図せず重要なページがインデックスから除外されていないかを確認します。
4	プラグインの導入・更新履歴の確認	最近導入または更新したプラグインが、サイトの表示やクロールに影響を及ぼしていないかを確認します。特にキャッシュ系やAMP対応のプラグインは注意が必要です。
5	サイトの技術的な変更履歴の確認	テーマの変更、URL構造の変更、サイト移転など、最近行った技術的な変更がインデックス数に影響を与えていないかを確認します。
6	サイトマップの更新状況の確認	サイトマップが最新の状態であるかを確認し、必要に応じて更新し、Google Search Consoleなどを通じて再送信します。
7	内部リンクの確認	サイト内の内部リンク構造を確認し、クローラーが全てのページにアクセスできるよう適切にリンクが設定されているかをチェックします。
8	コンテンツの品質確認	自動生成コンテンツや内容の薄いコンテンツが含まれていないか、ユーザーの検索意図を満たす高品質なコンテンツが提供されているかを確認します。
9	Googleのアルゴリズム更新の確認	最近のGoogleアルゴリズムの更新情報を確認し、自サイトのコンテンツやSEO施策が最新のガイドラインに適合しているかをチェックします。