たくさんの優れた記事を書いても、数ヶ月経っても記事が検索結果に表示されず、ウェブサイトのトラフィックがなく、成果が出ないという経験はありませんか？そこで、その原因から分析を始め、Googleがあなたの記事をインデックスするのを早める方法をお教えします！
クロール(Crawl)&インデックス(Index)
問題を見つける前に、検索結果と2つのキーワードステップについて学んでみましょう：
クロール(Crawl)：Googleのクローラがあなたのウェブサイトを見つける/取得する
インデックス(Index)：Googleがあなたのページをデータベースに保存し、検索結果に表示される可能性がある
人間と同じように、私たちが本の内容を覚えるためには、まず目で読む（クローラがクロールする）必要があり、その後、脳で処理して記憶する（Googleが内容をインデックスする）必要があります。このステップを経ることで、将来的に知識を思い出すことができます。ここから、ページが検索結果に表示されないのは、この2つのステップのどこかで問題が発生していることがわかります。したがって、マーケティング担当者の皆さんは、ウェブサイトがどこで問題を起こしているのかを考えてみるか、以下の内容を参考にして、ページがGoogleにインデックスされる方法を理解してみてください。
一般的なクロールの問題
孤立ページ(Orphan Pages)
孤立ページとは、「どのリンクからもリンクされていないページ」のことを指します。Googleはウェブサイト内のリンク（主に<a href=””>のソースコードで表示される）を通じて、そのページへのリンクがなければ、その存在を知ることはできません。そのため、孤立ページが形成されます。
この問題は、キャンペーンページや製品説明ページなど、一時的に作成されたページで発生することが多いです。これは、システムがページリンクがウェブサイトのどこに表示されるかをデフォルトで設定していないためです。もちろん、うっかりしていると、記事ページでも同様の問題が発生する可能性があります。
クロール予算(Crawl Budget)が低すぎる
クロール予算とは、「Googleがあなたのウェブサイトをクロールするためにどれだけのリソースを割り当てるか」のことを指します。Googleのサーバーの性能は無限ではないため、ほぼ無限のインターネットの世界で、限られたクローラのリソースを使ってデータを収集するためには、選択と捨てが必要になります。通常、大規模なウェブサイトには多くのリソースが割り当てられますが、ウェブサイトが長い間更新されていない、または良質なコンテンツがない場合、割り当てられるクロール予算は少なくなります。したがって、新しく設立されたウェブサイトは、SEOをさらに努力して最適化することで、徐々にクロール予算の上限を増やすことが可能になります。
nofollowなどの属性を含む
ウェブページのリンクやウェブサイトのmetaにnofollow属性を追加すると、検索エンジンのクローラにそのページをクロールしないように指示します。これは、特定の敏感な内容を保護したい場合や、インデックスされたくないページをウェブサイト内で表示したい場合に非常に便利です。
リダイレクト設定
ウェブページに301リダイレクトや302リダイレクトを設定することで、クローラを別のページに誘導し、元のページのクロールを停止させることができます。しかし、これは同時にクローラが元のページのクロールを停止することを意味します。
もちろん、リダイレクト設定が全て悪いわけではありません。商品の廃止や内容の統合などの場合にはよく使われます。したがって、リダイレクト設定には十分注意が必要で、ウェブサイトのクロール問題を防ぐためには、注意深く設定する必要があります。
robot.txtの禁止
robots.txtは、クローラがウェブサイトを訪問する際にどのような行動をとるべきかを指示するファイルで、”disallow”という指令を使って特定のページのクロールを禁止することができます。これは、メンバーログインやショッピングカートなどのURLを設定することがよくあります。
あるゴーストストーリーでは、ウェブサイトがクロールされない原因を探し出すのに苦労し、最終的には”disallow”が”全サイトのクロールを禁止”に設定されていたことが原因で悲劇が起こったことがあります。
クロールの機会を増やす
内部リンクを整備する
内部リンクとは、ウェブサイト内の異なるページ間でリンクを作成する方法のことを指します。クモの巣のように、適切なリンク設定を行うことで、クローラがウェブサイトの内容を効率的に取得することができます。しかし、ページ上に無秩序にリンクを追加すると、Googleが意図的な操作と判断し、評価が下がる可能性があります。したがって、適切な内部リンク戦略を策定することが重要なステップとなります。
Sitemapをアップロードする
SitemapはXMLファイルの一種で、クローラ専用の地図とも言えます。これには、ウェブサイト内のすべてのページリンクといくつかの情報が含まれており、これによりクローラはウェブサイトの内容をより効率的にクロールすることができます。また、Sitemapをrobots.txtに配置し、Google Search Consoleに提出することで、GoogleのクローラがSitemapのURLを取得するのに役立ちます。
Google Search Consoleを提出する
Google Search Consoleには「URL検査」機能があり、ウェブサイトが現在Googleにクロールされているか、インデックスされているかを確認することができます。また、画面上には「インデックスの作成を要求する」ボタンがあり、Googleにこのページを再度クロールするようにリマインドすることができます。
しかし、説明と経験から言って、このボタンを押しても、Googleはクロールの順序を少し前に移動するだけで、実際にクロールされてインデックスされるまでには少し時間がかかります。したがって、この機能を最後の手段として頼りにすることはお勧めしません。
一般的なインデックスの問題
クロールの問題が何が問題かわからないのに対して、インデックスの問題はGoogle Search Consoleの「インデックス作成」->「ウェブ」のレポートから解ることができます。
以下にいくつかの一般的な問題を挙げてみましょう：
サーバーエラー（5xxエラー）
ホストが受け入れることができる容量が限界に達した場合や、接続状況に問題が発生した場合など、サーバーエラーが発生する可能性があります。サーバーエラーは、ページがインデックスされないだけでなく、頻繁にエラーが発生すると、Googleはリソースの無駄遣いを避けるために、ウェブサイトのクロール予算を削減する可能性があります。
代替ページ（適切な標準マークあり）
適切な標準マークとは、「canonical」マークのことを指します。Googleはcanonicalデータに記入されたURLをインデックスし、現在のページではありません。
レポートにこの警告が表示されている場合、必ずしもウェブサイトに問題があるわけではありません。例えば、商品のスタイル（赤色、白色）などで、ほぼ重複するコンテンツのページを一つのページに集中させるために、canonicalマークを使用するのは正しい方法です。
詳細は以下を参照してください：Canonicalを使用して重複ページを解決！標準URLを宣言してSEO効果を向上させる
見つからない（404エラー）
ページにアクセスすると、ページにエラーが発生した場合（例：ページが削除された、URLが間違っているなど）、ページは404エラーをクローラやユーザーに通知し、クローラはこのレポートに基づいてこのページのクロールとインデックスを停止します。
この問題が発生する一般的な原因は、ページに誤ったURLが含まれている、プログラムの実行エラーによりリンクが失敗するなどがあります。もちろん、404エラーが発生すると必ずしもウェブサイトに問題があるわけではありません。商品の廃止や記事の削除など、ページが消えて404エラーが発生することもありますが、これは私たちが期待する通りで、Googleにこのページのインデックスを停止するように指示します。
したがって、問題を修正に取り組む前に、時間を投資して修正する必要があるかどうかを事前に評価することが良いステップとなります。
インデックス問題を修正する
基本的に、上記の例から、問題の警告が表示された場合、必ずしもすぐに対処する必要はありません。まずは、問題が本当に修正が必要かどうかを確認してみてください。それぞれの問題には多くの変数があり、インデックス問題が発生する原因は様々です。したがって、以下のステップを一つずつ解決し、問題の根源を見つけ出すことをお勧めします。
1.問題のあるページを確認する
Google Search Consoleの「インデックス作成」->「ウェブ」->「問題レポートを開く」から、問題が発生しているURLを確認できます。
私のやり方では、まず「最後にクロールされた時間」を確認して、問題が同じタイミングで発生したのかを確認します。次に、レポートの5〜10ページを開いて次のステップに進みます。
2.ソースコードとビジュアルコンテンツを確認する
この時点で、問題に関連する手がかりを探すことができます。例えば、「noindex」タグが含まれているURLの問題では、まずソースコードを確認して、コードがどこに挿入されているかを確認します。また、ビジュアルコンテンツを確認することもあります。ページの内容が少なすぎたり、無駄な情報や重複した情報が多すぎたり、プログラムの実行に失敗してページのブロックが空白になったり、ページが404エラーになったりすることもあります。
3.共通点を抽出する
前のステップで確認した問題をすべてまとめ、共通の問題点を抽出します。これにより、修正が必要な箇所を正確に特定することができます。
これだけ読んでいただければ、Googleのクロールとインデックスに関連する問題についてある程度理解していただけたと思います。私の記事が気に入った方や、今後SEOに関する情報を知りたい方は、私のウェブサイトをフォローしていただければ幸いです。様々な知識を皆さんと共有するために努力してまいります：）
Last Updated on 2月 4, 2024 by 己見室
