ホーム > robots.txt でブロックしているページへはリンクジュースを渡すのか?

ホスティング

*マット・カッツの発言を聞き取りたいと思っている方には、 オンライン英会話スクールがオススメです。
robots.txt でブロックしているページへはリンクジュースを渡すのか?
Friday, 03 July 2009 05:14

今日の質問は、「あるページが robots.txt で拒否 (disallowed) とされているとき、このページへのリンクはリンクジュースを渡すのか?」 という質問です。

例えば eBay.com が robots.txt で disallowed にされているとします。そして、あるページが eBay.com へリンクしたとします。

このとき、リンクジュースはどうなるのか?という質問です。

まずその前に、リンクジュースとは何か?ということについてご存じない方は、リンクジュースの用語解説を見てください。要はページランクです。

さて、冒頭の質問に対する答えですが、この場合、リンクジュースは渡されます。

昔はカリフォルニアの DMV (免許センターのような所) とか eBay などは robots.txt でブロックしていたので、検索結果には出てきませんでした。

しかし、あなたが Google に California DMV と入力したときは、DMV の情報を得たいはずです。

この問題を解決するために次のようにします。クローラは、DMV のサイト自体にはアクセスできませんが、そのサイトへ多数のサイトがリンクしていたならばそれを評価して、それへの参照を返すようにしている、ということです。