なぜ私のサイトは表示されないの？クロールされない場合の対処法2選

こんにちは！侍マーケティングラボの所長です。

サイトを立ち上げてしばらくはなかなか訪問ユーザーが増えませんよね。
これは誰もが一度が通る道なのでそこまで気にしてほしくないのですが、心が折れてしまう初心者の方も多いと思います。

訪問ユーザーを増やすために行う施策の事をSEOと言います。
SEOを実施することであなたのサイトに訪問するユーザーを増やすことができますが、その第一歩となるのがクロールです。

あなたのサイトになかなかユーザーが来ないのは、サイトがクロールされていない事が原因かもしれません。
今回はなかなかクロールされない場合の対処法について解説していきますので、なかなかクロールされないという方はこの記事を最後まで読んでいってください！

クロールについてよくわからない方は、先に下の記事を読むことをお勧めします！

[kanren postid=”12″]

なおこの記事はGoogle公式の見解を元に分析し作成しています。

コンテンツがクロールされているかどうか確認する方法

まずはあなたのコンテンツが無事にクロールされているかを確認してみましょう。

方法は主に2つあります

1. Google Search Consoleで確認する
2. site:URLで検索する

今回は手軽にできる方法で確かめたいため、2番のsite:URLで検索する方法を説明します。

まずはGoogle検索画面で、site:https://〇〇
と入力してください。(〇〇には確かめたいURLを入れてください。)

例えば侍マーケティングラボ(https://samurai-marketinglab.com)がクロールされているか確かめて見た場合が下のようになります。

表示されましたね！
検索結果に表示されたということはGoogleにクロールされてインデックス登録までされているということなので、クロールに関しては特にするべきことはありません。

次にまだ侍マーケティングラボに存在していないページ(https://samurai-marketinglab.com/mada-naiyo)を検索してみました。

青い怪獣が釣りをしている画像が出てきました。
これはまだ検索したURLのページがGoogleにインデックス登録されていないという意味です。

インデックス登録されていない時には、サイトのクロール自体がされていないという可能性、サイトのクロールはされているがインデックス登録がされていない場合の2パターンの可能性があります。

上記の2パターンの内のどちらに該当するかはGoogleSearchConsoleを確認する必要がありますので、より正確に確認したい方はGoogleSearchConsoleについての記事も合わせて確認してみてください！

[kanren postid=”137″]

クロールされない原因は?

あなたのサイトがクロールされているかは確認できたでしょうか?
もしあなたのコンテンツがクロールされない場合に確認すべき点は以下の二点です！

• クロールが禁止されていないか
• ログインが必要なページではないか

それぞれ対処法を解説していきます！

クロールが禁止されている場合

サイトやコンテンツ自体のクロールを禁止されている場合、GoogleBotがクロールすることができないためクロールされることはありません。

禁止されているのかどうかを確認するためには、robots.txtというファイルを確認します。

robots.txtファイルはGoogleBotに対して、どのURLにアクセスしてよいか伝えるものです。
GoogleBotがサイトにアクセスすると少なからずサイトに負担がかかりますので、負担を抑えてサイトのパフォーマンスを向上させるために使用する事があります。

サイトの最適化を目的としてクロールを禁止している場合は問題ないですが、本当は検索結果に表示させたい場合はクロールを禁止していることで、検索結果に表示されないデメリットがあります。

robots.txtの確認方法

robots.txtはサイトの最上位ディレクトリに存在しています。
FTPツール等を用いてサーバーにアクセスして、サーバーにrobots.txtが存在するかどうかを確認してください。

disallow:[サイトのパス]

↑の様に記載することで該当するパスのコンテンツへのクロールを禁止します。
disallowの後にあなたのサイトが記載されていないかを確認して、もし記載されていたら削除してください。

これでクロールの禁止を解除する事が出来ました！

robots.txtで設定可能な項目

robots.txtでクロールを禁止するように設定可能な項目は以下の3つです。

• ウェブページ
  ウェブページに対して設定する事でクロールを禁止することが可能です。
  クロールされたくないページや、重複コンテンツに対して設定することでクロールを防ぐことができます。
  
• メディアファイル
  GoogleBotに画像ファイルや動画ファイルをクロールさせないようにします。
  ユーザーに表示されないわけではないので注意が必要です。
  
• リソースファイル
  画像ファイルやJavaScriptなどに対するクロールを禁止する事ができます。

必要に応じてこれらを禁止することで、より効果的にサイトを運営する事ができます。

クロールの禁止は必要か

効率的な運営のためにrobots.txtでクロールを禁止することは有効なSEO施策ですが、実際クロールを禁止する必要はあるのでしょうか?

結論、個人でブログを運営している場合などは禁止する必要はあまりないと考えています。
大規模なサイトになってくると大量のコンテンツが存在するため、検索結果に表示する必要がないページのクロールを禁止することは有効です。

ただし個人でブログを運営している場合であればそこまで多くのコンテンツは存在しないので、そこまで細かくコンテンツをブロックする必要は無いと考えられます。

ログインが必要な場合

ログインが必要なページもGoogleBotがアクセスできないためクロールされません。

会員制サイトなどの場合はログインが必要なページが多いため、クロールされないページも増える可能性が高まります。

もしあなたのページが意図せずログインが必要なページになっている場合は、ログイン設定を解除する事でクロールされる可能性があります。

番外編:サイトを作成してすぐの場合

サイトを作成してすぐの場合もクロールされない可能性が高いです。
基本的にGoogleBotはリンクを通じてクロールを行います。

外部サイトからリンクがない初期のうちはGoogleBotがサイトを見つける事ができないため、クロールされない場合が多くあります。

この場合はサイトマップをGoogleに送信してあげることでクロールされる可能性が高まります！

サイトマップに関しては↓の記事でも説明しています！ぜひ一緒に読んでいってください！

[kanren postid=”38″]

まとめ

いかがでしたか？
今回はGooglebotにクロールされない場合の対処法について解説しました。

クロールされない原因は主に2つあります。
クロールが禁止されている場合と、ログインが必要なページの場合です。

サイトがクロールされていないと検索結果に表示されることもないため、もしあなたのサイトがクロールされていない場合はrobots.txtやログイン設定を見直してみてください！

お疲れ様でした！
皆さんのコメントやシェアが非常に励みになります。
もし今回の記事が参考になったと思ったら、SNSでのシェアやコメントをお願いします！