2007-01-11
検索エンジンの５つのプログラム - スパイダーとクローラって別物？
アメリカのウェブ制作やSEOに携わる者が集うフォーラム WebmasterWorldで、おもしろい展開がはじまっている。
How Do Search Engine Robots Work?
- 検索エンジンのロボットはどのような働きをしているか？
How Do Search Engine Robots Work?
内容も興味深いのだが、それよりも冒頭に驚いた。
Search engines consist of five discrete software components:
- Spider : a robotic browser like program that downloads webpages.
- Crawler : a wandering spider that automatically follows links found on pages.
- Indexer : a blender like program that dissects webpages that are downloaded by spiders.
- The Database : a warehouse of the pages downloaded and processed.
- Search Engine Results Engine : digs search results out of the database
なんと、スパイダー(Spider)とクローラ(Crawler)が別物として扱われているではないか！
日本中で、スパイダーとクローラを区別している人を見たことがないぞ。
| 名称 | 機能 | |
|---|---|---|
| 1 | スパイダー | ウェブページをダウンロード |
| 2 | クローラ | ページのリンクを追跡 |
| 3 | インデクサ | ダウンロードしたページを調合して索引付け |
| 4 | データベース | ダウンロードし処理したページの倉庫 |
| 5 | リザルトエンジン | データベースから探し検索結果を出す |
しかも、上記５つをロボットと呼んでいるようでもあるし…
Let's talk about how robots interpret your page for a bit. If I follow Brett's historical topic, you have three different types of robots, a spider, crawler and indexer.
First the Spider comes around and requests the URI. It reads server header information and other on page <head></head> information. Then the Crawler follows all the links within that domain (those that are found and allowed). Then the Indexer reads the html while making heads and tails of it.
ロボットは、どのようにウェブページを解釈するのか。違う３タイプのロボット、つまりスパイダーとクローラとインデクサがある。
最初に、スパイダーはURIによってやって来る。そしてサーバのヘッダ情報とページのhead要素<head>～</head>を読む。
次にクローラは、スパイダーが見つけたページ・サイト内のリンクを追いかけて行く。
最後にインデクサは、HTMLソースの始めから終わりまでを読み込む。
明らかな誤訳があればコメントでも付けていただきたい。
しかし、奥が深い。久しぶりの大発見と言えるかな？
| コメント (0) | トラックバック (0) | 2007-01-11 09:53 AM [ 管理人編集 ]
汎用サイトマップとMSN(Liveサーチ) - RORフィードで代替？
SEOセミナーのe倶楽部3で講座を開設 塾生募集中
Yahoo!で検索されなくなった、トップページが1000番の圏外に追放された。
Googleで順位変動に悩まされている、ある日突然に数十番も下落した。
SEO塾は、検索エンジン・トラブルのリカバリーに実績があります。
今すぐ『Web教則本とメールのSEOセミナー』をお申し込みください。
トラックバック
このエントリーのトラックバックURL:
"検索エンジンの５つのプログラム - スパイダーとクローラって別物？"の紹介記事が書かれていない場合は、スパムとみなされトラックバックできません。
このエントリーへのトラックバックはまだありません。
コメント
このエントリーへのコメントはまだありません。
