SEO最新情報

日本では Yahoo! の検索エンジンも Google を利用するようになっていますから、 Webサイト管理者にとってはこれはかなり困ります。

あなたが意図的にクローキングをしていなくても、 Google からクローキングと判定されてしまう可能性もあるようです。

Google の発表内容から、どのようにしたらクローキングと判定されないか考えてみましょう。ちなみに、この記事は実際にクローキングをしているひとが、Googleに捕まることから逃れるヒントを述べているわけではないです。それを期待していた人は残念でした (笑)

クローキングとは何か？　なにが問題なのか

まず、クローキングとは何か？ そして、それがなぜ問題なのか説明します。

クローキングというのは、広い意味で言えば

「実際のユーザーにみせるコンテンツと、検索エンジンのクローラにみせるコンテンツを切り替えること」

を指します。

ご存知のとおり検索エンジンは、インターネットの上のウェブサイトを訪れ Web サイトの情報を収集しています。情報を収集するプログラムをクローラといいますが、 Google の場合、クローラは Gooblebot と呼ばれます。

従って Google で言えば、一般のユーザーにみせるコンテンツと Googlebot に対するコンテンツを切り替える場合、クローキングをしている、とみなされる可能性が出てきます。

なぜ Google がそれを問題視するかというと理由は簡単です。

Googlebot が収集する情報はすなわち Google が検索結果として提供する情報になります。Webサイト管理者がクローキングを実施すると、Googlebot がみる情報とユーザーが見る情報が違うわけですから、結局、そのサイトに関してGoogleが提供する情報とユーザーから見える情報が異なってしまいます。つまり、検索エンジンの利用者は、検索結果として出てきた情報と実際に見えるサイトが異なってしまいます。

検索エンジンの利用者は、変な情報を検索エンジンの検索結果で見た、と思うでしょう。 検索エンジン自体の信頼度が低下することになります。

したがって、理由はどうあれ検索エンジンの運営側から考えれば、クローラに見せる情報とユーザーに見せる情報が違っては困るのです。

このことから、GoogleはWebサイト運営のガイドラインを定め、クローキングを行うサイトを検索結果から削除するとしています。

クローキングではないが、クローキングと間違われそうな状況とその対策

上で 「クローラに見せる情報とユーザーに見せる情報が違うと困る」 と言いましたが、ユーザー毎にコンテンツを切り替えるということは普通にありえるものでもあります。

例えば、天気予報の情報などは、関東地方に住む人に見せる情報と、北海道に住む人に見せる情報は切り替えたいかもしれません。しかし、コンテンツを切り替えたからといってクローキングとみなされては困ります。

どうしたら、Googleに不正をしているとみなされずに済むでしょうか。

Google のオフィシャルウェブマスターブログのエントリを見ると、結論としては次のように言えるようです。

「Googlebot を特別扱いせず、典型的な １ ユーザーとみなす」

ユーザー識別してコンテンツを切り替える方法としては、典型的に次の三つの方法があります。

• クッキーによってユーザーの設定を認識する
• ログインユーザーのプリファレンスを認識する
• IP アドレスによって認識する

ひとつめは、ある時点のユーザーの意思決定をクッキーという形でブラウザに保存しておき、次回のアクセスでそれを利用してコンテンツを切り替えるというものです。二つ目は様々な方法でログインユーザーを識別して、そのユーザーの登録情報を利用するものです。ブラウザが変わっても同一情報が利用できます。三つめは IP アドレスから地理情報 (Geolocation) を識別する、というものです。

これらはどれもWebサイトの利便性を高めるために行われる場合が多いものです。Googleはそれを禁止しているわけではないようです。Googleが禁止しているのは、Googlebotだけを特別視して情報を切り替えることです。

例えば、IPアドレスを用いてユーザーの地理情報を取得しそれによってコンテンツを切り替えるのは構わない。だから、Googlebotが札幌市からのアクセスとなれば札幌市のユーザーがみるコンテンツを返せばよいということです。逆に Googlebotだけには全国のユーザーが見る全てのコンテンツを返すようなことはダメだ、ということです。

一般の札幌のユーザーが 「雪祭り」「すすきの」といったキーワードしか含まれないページをみているのに、Googlebotだけには「沖縄」「祇園祭」「六本木」「雪祭り」「すすきの」 などのキーワードを含むページを返すようなことをしてはダメだ、ということです。

以上、最近特に Google はウェブサイトのガイドラインを守るように注意を呼びかけているようですので、クローキングについて整理してみました。

それではまた。