分かりにくいアルゴ、突然襲い来る順位変動、とりあえずカテゴリー登録、集客力日本一のヤフーだから
順位変動、ペナルティ、商用サイトをもてあそぶ検索シェア世界ナンバーワンのグーグルは神か悪魔か
Windowsも検索エンジンも音楽配信もゲーム機も、帝国は生き延びることができるか？ マイクロソフト

2008-04-15

Yahoo! Slurp 3.0 - ヤフー クローラのアップデート

YSTの更新はいつかと気をもんでいるのに、公式ブログではYahoo! Slurpのバージョンアップが告げられた。

  • Yahoo! Search Blog: Yahoo! Slurp 3.0

crawl.yahoo.netのYahoo! Slurp/3.0

サーバ生ログを確認したところ、新しいYahoo!のロボットがやってきている。

ドメイン名は「llf###.crawl.yahoo.net」で、ユーザーエージェントは「Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)」となっている。

これに対し旧バージョンのドメイン名は、「lj###.crawl.yahoo.net」や「rz###.crawl.yahoo.net」、「rj###.crawl.yahoo.net」「dj###.crawl.yahoo.net」などで、ユーザーエージェントは「Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)」となっている。

今後は、3.0に置き換わっていくようだ。

ところで、常識的にはクローラが替わればインデックスも替わる。それがいつになるかは分からないが…

気にかかるのは次の箇所、

a) The crawlers will start crawling from a different and much smaller set of IP addresses, but it'll still be from the crawl.yahoo.net domain. Any reverse DNS checks to identify our crawler will continue to work. Please note that if you're using IP-based recognition of our crawlers, you might see a drop in crawl/coverage from Yahoo! We strongly recommend that you move to reverse DNS-based identification of Yahoo! Slurp if you're using any other method to avoid this problem. The current set of IPs will disappear from your web logs in the next several weeks.

Yahoo! Slurpの巡回は、IPベースからDNSベースに切り替えるようだ。

例えば、Yahoo! Slurp/3.0のクローラのあるものは、IP「67.195.37.114」、DNS「llf520062.crawl.yahoo.net」となっている。

よって、例えば「67.195.」は受け入れるが、それ以外はアクセスを拒否するといったサーバの設定をしている場合は、Yahoo!のロボットは巡回できないということになる。
「crawl.yahoo.net」を受け入れるという設定に切り替えよということである。

レンタルサーバ屋によっては、そういった作為をやっているので、Yahoo!からのインデックス削除には要注意である。

| 2008-04-15 06:40 AM |

関連するエントリー