アルゴリズム社の「SEO塾の公式ブログ」

SEOブログは、株式会社アルゴリズム設立にともなって「SEO塾の公式ブログ」に移転しております。
Yahoo!やGoogle対策、順位変動など、SEOの最新情報は、『Yahoo!やGoogleの順位と変動をリサーチする「SEO塾の公式ブログ」』をご利用ください。

順位変動に迷わない、回復リカバリーを成功させたい。大好評のSEOセミナーも随時開催中です。

2008-04-05

チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル

これもYahoo!ログール経由でRSSリーダーに登録している『御の字でございます』の気になった記事から。

GMOグループのpaperboy&co.が運営しているチカッパやロリポップのサーバでは、存在しないファイルにアクセスした場合に、HTTPヘッダが本来の404を返さずに302でリダイレクトしているのではという疑惑があるというのである。

存在しないファイルのHTTPヘッダが404ではなく302とは

早速、「御の字でございます」ブログから引用してみる。

御の字でございます::チカッパさん、すみません

ここのドメインonnoji.com(チカッパ契約)で実在しないアドレス「jjj」をブラウザに入力してhttpヘッダーをキャプチャーした結果です。

http://onnoji.com/jjj がリクエストされる
↓
リクエストされたファイルがない!!
↓
「302」のコードを返し「 http://err.chicappa.jp/404.html 」へリダイレクト
↓
「404」のコードを返す

このエントリーに書かれていることをこちらでも再現するために、FirefoxにLive HTTP Headersのアドオンをインストールして、ツールメニューから「Live HTTP Headers」を起動してトレースところ、確かに存在しないURLでは「HTTP/1.x 302 Found」が返された。

さらに念を押して、「http://e-club3.hyperposition.com/jjj」で試したが、こちらは「HTTP/1.x 404 Not Found」と予想された正しいヘッダとなっている。

もう1つ気になる箇所が、

それよりも・・・・
みなさん、robots.txt、設置してますか?
GoogleやYahoo、その他の検索エンジンのクローラー、あなたのサイトに訪ねてきたら一番最初に「robots.txt」を探します。

ところが、「robots.txt」を設置していなかったら、ロリポップやチカッパのサーバーは、もしかしたら「302」コードを返し、「 http://err.chicappa.jp/404.html 」にリダイレクトして、あなたの他のコンテンツにはクローラーが来ないのでは・・・とゾッとします。

GMOグループのレンタルサーバを利用している方は、ぜひ試してコメントをいただきたい。

手順は、

  1. robots.txtをいったんサーバから削除
    • robots.txtを設置してない場合はそのまま(2)へ
  2. 「自ドメイン/robots.txt」でアクセス
  3. HTTPヘッダをトレース

そこで、正しい「HTTP/1.x 404 Not Found」になっているのか、あるいは「HTTP/1.x 302 Found」なのか、チェックしてみよう。

GMOグループpaperboy&co.が運営するレンタルサーバなど

株式会社paperboy&co.によると、運営しているレンタルサーバやブログは次のとおり。

  • ロリポップ
  • チカッパ
  • ヘテムル
  • ジュゲム

ロリポップは以前も、Yahoo!(YST)がSlurp(=クローラ)を新IPに変更した際にロボット遮断によってトラブって、サイトがインデックス削除されるという事故を起こしているので、何かと作為をやっている可能性が高いから要注意である。

自社サイトはどれも、フッタ部にウルトラクロスリンクしているし…

存在しないファイルの302問題

302とは「一時的に別のアドレスに移動」であるから、基本的な解釈では存在しないファイルは検索エンジンのインデックスから削除されない可能性がある。

とにかく、リダイレクトはスパマーの十八番であるから、非常に面倒臭いトラブルが起こりやすいのである。

Googleのケース

Googleの場合は、302問題はいろいろ変遷しているが、存在しないファイルがインデックスされ続ける可能性が否めない。

そしてその後、GMO以外のレンタルサーバを利用した場合、同一コンテンツならばミラーページである！

Yahoo!のケース

Yahoo!の場合は複雑で、Yahoo!検索 ヘルプ - リダイレクトを設定している場合、どちらのURLがデータベースに登録されますか？によると、

  1. あるドメインに所属するページから、「永久/一時的に」別ドメインのページへリダイレクト →リダイレクト先のURLがデータベースに登録されます。
  2. ドメイン内のページから、「一時的に」同一ドメイン内の別のページへリダイレクト →リダイレクト元のURLが登録されます。

となっているので、上記の例では(a)にあたり、GMOグループの404ページがインデックスされることになる。

これはこれで問題で、レンタルサーバオーナーサイトが集めた存在しないページへのリンク情報が、GMO404に移管されることになる。

そういった屁理屈はともかく、Yahoo!の場合はYST更新によって既に存在しないページが突如として復活することが多く、ヘルプに書いてあることとは裏腹にリダイレクトや削除ページをうまく処理できていない可能性が高い。

そして、同一コンテンツが複数のURLを持つ場合は、これまたミラーページとなりペナルティの温床になるのである。

| コメント (3) | トラックバック (0) | 2008-04-05 04:27 PM [ 管理人編集 ]

このページのタグ(目印)一覧

Redirect , SEO , SMO

関連するエントリー

SEO塾で、Web/メールの講座によるSEOコンサルタント

Yahoo!で順位が落ちた、検索されなくなった、トップページが1000番の圏外に追放された。
Googleで順位変動に悩まされている、ある日突然に数十番も下落した、ディレクトリ丸ごとサイト丸ごと消えた。

アルゴリズム社が運営するSEO塾は、オリジナルで最新の上位表示方法論を確立。しかも順位アップだけでなく、検索エンジン・トラブルのリカバリーにも実績があります。
今すぐ『Web教則本とメールのSEO塾』を受講しましょう！


Yahoo! JAPANの検索結果で上位表示させるために有効な、最も簡単な方法。

トラックバック

このエントリーのトラックバックURL:

"チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル"の紹介記事が書かれていない場合は、スパムとみなされトラックバックできません。

このエントリーへのトラックバックはまだありません。

コメント

GMOグループは、レンタルサーバおよびドメイン関連事業にて、この手法(エラーページで広告を表示)を採用しており、グループ全体でオーバーチュア月間8000万円から1億超の収益を上げています。
主な事業が低迷している企業体ですので、クレームがあったとしても設定の変更は行いそうにありません。
将来、ペーパーボーイの上場気配があった際にクレームを集中させれば、改善されるかもしれません。広告よりも上場益の方が魅了的なはずですから。

投稿者: Hal | 日時: 2008-04-05 09:14 PM

ロリポップで、robots.txtなしのサイトにアクセスしてみたところ、同じように302でエラーページにリダイレクトしてます。
今までに何か問題があったようなことはないですが、よろしくないですねぇ。

投稿者: 【海外SEO】鈴木謙一 | 日時: 2008-04-06 03:41 AM

はじめまして。

トラバ送ったのですが403 Throttledになってしまうのでコメントで。

自分で404ページを設定していないデフォルトだと302→404を返しますが、自分で404ページを設定していればリダイレクトなしで404を返しているようです。

ちなみにクローラーは普通に巡回しているようです。

投稿者: フジイユウジ | 日時: 2008-04-06 02:01 PM

コメントを投稿

(いままで、ここでコメントしたことがないときは、コメントを表示する前にこのブログのオーナーの承認が必要になることがあります。承認されるまではコメントは表示されません。そのときはしばらく待ってください。)

投稿