2008-04-15
Yahoo! Slurp 3.0 - ヤフー クローラのアップデート
YSTの更新はいつかと気をもんでいるのに、公式ブログではYahoo! Slurpのバージョンアップが告げられた。
crawl.yahoo.netのYahoo! Slurp/3.0
サーバ生ログを確認したところ、新しいYahoo!のロボットがやってきている。
ドメイン名は「llf###.crawl.yahoo.net」で、ユーザーエージェントは「Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)」となっている。
これに対し旧バージョンのドメイン名は、「lj###.crawl.yahoo.net」や「rz###.crawl.yahoo.net」、「rj###.crawl.yahoo.net」「dj###.crawl.yahoo.net」などで、ユーザーエージェントは「Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)」となっている。
今後は、3.0に置き換わっていくようだ。
ところで、常識的にはクローラが替わればインデックスも替わる。それがいつになるかは分からないが…
気にかかるのは次の箇所、
a) The crawlers will start crawling from a different and much smaller set of IP addresses, but it'll still be from the crawl.yahoo.net domain. Any reverse DNS checks to identify our crawler will continue to work. Please note that if you're using IP-based recognition of our crawlers, you might see a drop in crawl/coverage from Yahoo! We strongly recommend that you move to reverse DNS-based identification of Yahoo! Slurp if you're using any other method to avoid this problem. The current set of IPs will disappear from your web logs in the next several weeks.
Yahoo! Slurpの巡回は、IPベースからDNSベースに切り替えるようだ。
例えば、Yahoo! Slurp/3.0のクローラのあるものは、IP「67.195.37.114」、DNS「llf520062.crawl.yahoo.net」となっている。
よって、例えば「67.195.」は受け入れるが、それ以外はアクセスを拒否するといったサーバの設定をしている場合は、Yahoo!のロボットは巡回できないということになる。
「crawl.yahoo.net」を受け入れるという設定に切り替えよということである。
レンタルサーバ屋によっては、そういった作為をやっているので、Yahoo!からのインデックス削除には要注意である。
| コメント (0) | トラックバック (0) | 2008-04-15 06:40 AM [ 管理人編集 ]
ヤフーのアルファベット・キーワード問題 - 大文字小文字全角半角、スペース在り無し
SEOセミナーのe倶楽部3で講座を開設 塾生募集中
Yahoo!で検索されなくなった、トップページが1000番の圏外に追放された。
Googleで順位変動に悩まされている、ある日突然に数十番も下落した。
SEO塾は、検索エンジン・トラブルのリカバリーに実績があります。
今すぐ『Web教則本とメールのSEOセミナー』をお申し込みください。
トラックバック
このエントリーのトラックバックURL:
"Yahoo! Slurp 3.0 - ヤフー クローラのアップデート"の紹介記事が書かれていない場合は、スパムとみなされトラックバックできません。
このエントリーへのトラックバックはまだありません。
コメント
このエントリーへのコメントはまだありません。
