検索エンジンの５つのプログラム - スパイダーとクローラって別物？ in SEOブログ from SEO塾

アルゴリズム社の「SEO塾の公式ブログ」

SEOブログは、株式会社アルゴリズム設立にともなって「SEO塾の公式ブログ」に移転しております。
Yahoo!やGoogle対策、順位変動など、SEOの最新情報は、『Yahoo!やGoogleの順位と変動をリサーチする「SEO塾の公式ブログ」』をご利用ください。

順位変動に迷わない、回復リカバリーを成功させたい。大好評のSEOセミナーも随時開催中です。

2007-01-11

検索エンジンの５つのプログラム - スパイダーとクローラって別物？

アメリカのウェブ制作やSEOに携わる者が集うフォーラム WebmasterWorldで、おもしろい展開がはじまっている。

How Do Search Engine Robots Work?

検索エンジンのロボットはどのような働きをしているか？
How Do Search Engine Robots Work?

内容も興味深いのだが、それよりも冒頭に驚いた。

Search engines consist of five discrete software components:

Spider : a robotic browser like program that downloads webpages.

Crawler : a wandering spider that automatically follows links found on pages.

Indexer : a blender like program that dissects webpages that are downloaded by spiders.

The Database : a warehouse of the pages downloaded and processed.

Search Engine Results Engine : digs search results out of the database

なんと、スパイダー(Spider)とクローラ(Crawler)が別物として扱われているではないか！
日本中で、スパイダーとクローラを区別している人を見たことがないぞ。

検索エンジンの５プログラム
	名称	機能
1	スパイダー	ウェブページをダウンロード
2	クローラ	ページのリンクを追跡
3	インデクサ	ダウンロードしたページを調合して索引付け
4	データベース	ダウンロードし処理したページの倉庫
5	リザルトエンジン	データベースから探し検索結果を出す

しかも、上記５つをロボットと呼んでいるようでもあるし…

Let's talk about how robots interpret your page for a bit. If I follow Brett's historical topic, you have three different types of robots, a spider, crawler and indexer.

First the Spider comes around and requests the URI. It reads server header information and other on page <head></head> information. Then the Crawler follows all the links within that domain (those that are found and allowed). Then the Indexer reads the html while making heads and tails of it.

ロボットは、どのようにウェブページを解釈するのか。違う３タイプのロボット、つまりスパイダーとクローラとインデクサがある。

最初に、スパイダーはURIによってやって来る。そしてサーバのヘッダ情報とページのhead要素<head>～</head>を読む。
次にクローラは、スパイダーが見つけたページ・サイト内のリンクを追いかけて行く。
最後にインデクサは、HTMLソースの始めから終わりまでを読み込む。

明らかな誤訳があればコメントでも付けていただきたい。

しかし、奥が深い。久しぶりの大発見と言えるかな？

| コメント (0) | トラックバック (0) | 2007-01-11 09:53 AM [ 管理人編集 ]

前のエントリーへ汎用サイトマップとMSN(Liveサーチ) - RORフィードで代替？