【SEO対策の初歩】インデックスされる仕組み~検索エンジンGoogleが行うクローラビリティ~


こんにちは。
孤高のノマドマーケッター堀江です。

今回はWebサイト(ホームページ)がどのようにGoogleに評価されるのかを解説します。どのようなプロセスを経てGoogleがWebサイトやブログを強化するのかが分かることで、サイトづくりや記事の書き方が変わってきます。

SEOの最初の一歩としてぜひ読んでいただきたいです。

クローラリビリティとは

Webサイトはどのようにして検索結果に反映されるのか?
GoogleやYahooなどの検索サイトは、各Webサイトを巡回することで良質なWebサイトであるかを評価していきます。

クローラー

どのようにWebサイトを評価するのかというと、「クローラー」と呼ばれるロボットを使ってWeb上の情報を自動的に収集します。その収集された情報をオリジナルのアルゴリズム(算法)により評価され検索結果に表示されます。クローラーに情報を収集されることをクローリングと言われ、クローリングされることを「クロールされる」と言われます。

インデックス

Googleのデータベースに登録されることを「インデックス」といいます。
まずクローリングされインデックスされないと検索結果には反映されません。「site:(URL入力)」で検索することで、インデックスされているかどうかを確認できます。

2つのクロールされるための施策

1.クローラーに巡ってもらうためのリンクを用意する

クローラーはWeb上のリンクをたどってクロールしていきます。クロールの対象となっているWebサイトに貼られたリンクから新しいサイトを発見してクロールされます。

2.Search Consoleで情報を送る

GoogleではSearch Consoleというツールを使って情報を送信することで、更新されたページの存在をGoogleに知らせることができます。

[クロール] > [fech as google]でページのURLを送信することで、インデックス登録のリクエストを送信したことになります。これにより更新されたページを放っておくよりも早くにクロールしてもらうことができます。

インデックスされない3つの理由

Webサイト、ブログ記事がなかなかインデックスされなくかったら困っちゃいますよね。ここではインデックスされない代表的な3つの理由を書きますね。

1.HTMLソースでインデックスを拒否

WEBサイトのソースの中に
<meta name”robots” content=”noindex,nofollow”>
が入っていると検索サイトのクローラーにインデックスしないことを指示できます。

  • noindex:このページはクロールするがインデックスしない
  • nofollow:このページはクロールするが、ページ内に設置されたリンク先はクロールしない

となりますので、以上の理由からWebサイトやブログ記事がまったくインデックスされなくなります。外部サイトからのリンクされても、その外部サイトのmetaタグに”nofollow”が入っていてると、クローラーがそのリンクからたどってこないので自サイトが評価されません。

2.robot.txtでクローラーのアクセスを拒否

WordPressでは設定メニュー内に「プライバシー設定」というものがあり、そこで検索エンジンからクローラーのアクセスを拒否する設定があります。

このクローラーのアクセスを拒否することで、自動的にrobot.txtがサーバー内に構築・設定されます。WordPressでWEBサイトを作ったけれどインデックスが全然されないときは、プライバシー設定を確認してみてください。

3.Googleのガイドラインに違反

GoogleがWEBサイトを評価するときのガイドラインがあります。ここに書かれていることに乗っ取り作成されていない、もしくは不正とみなす行為に抵触されている場合にはペナルティを受けます。

ペナルティを受けるとインデックスが削除されること可能性があります。ペナルティが要因でインデックス削除された場合、Googleに申請すれば解除されます。ただし、解除されるまで時間がかかり、解除されるまで検索サイトに表示されません

解除後、検索サイトに表示されてもペナルティ前の順位よりも下に表示される可能性もあります。例えば、1ページ目に表示されていたのに、ペナルティ解除後は10ページ以下に表示されることもあります。

このように表示順位が変わってしまうとWEBサイトの訪問数もガクッと下がってしまうことになります。くれぐれもペナルティを受けないようガイドラインに沿ったサイト作りを心がけてください。

Webサイトがいインデックスされているかの確認の仕方

ペナルティを受けていないにもかかわらず検索結果に表示されないことが稀にあります。また、そのペナルティを受けることやGoogleのガイドラインが変わることで順位が下がってしまうことがあります。

そんな時、検索サイトにインデックスされているかどうかを確認する方法があります。

  • site:トップページのURL
  • site:ドメイン

検索窓にを打ち込むことで、インデックスされているページが検索結果に表示されます。

まとめ

まずSEOで大事なことは検索サイトにインデックスされるかどうかになります。

ここでつまづくことで検索順位が上がるという本来の目的も達成されません。このSEOの初歩を理解しておくことで今後のWEBサイトの展開もしやすくなるでしょう。

この記事を書いた人

horie

horie

・WEBコンサルタント
・フリーランス・副業など働き方支援
---
1983年生まれ。大阪府東大阪市出身。
印刷業界の営業やパソコンメーカーのカスタマーセンター、SEO・WEBライティング業などを経て、30歳で独立。挫折を経験し、人が集まる仕組みや経営を勉強するため、シェアハウス・コワーキングスペース運営会社のWEB担当やコンサルティング会社を経て、再び独立。
---
【開催イベント】
・フリーランス・ノマド交流会『のまカフェ』(全9回)
・持ってるスキルで”プラス5万円”を目指す!「会社員+フリーランス」副業セミナー
・関西最大級の交流会イベント『クリエイター200人祭り』2018年度運営スタッフ