分かりにくいアルゴ、突然襲い来る順位変動、とりあえずカテゴリー登録、集客力日本一のヤフーだから
順位変動、ペナルティ、商用サイトをもてあそぶ検索シェア世界ナンバーワンのグーグルは神か悪魔か
Windowsも検索エンジンも音楽配信もゲーム機も、帝国は生き延びることができるか？ マイクロソフト

2008-04-05

チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル

これもYahoo!ログール経由でRSSリーダーに登録している『御の字でございます』の気になった記事から。

GMOグループのpaperboy&co.が運営しているチカッパやロリポップのサーバでは、存在しないファイルにアクセスした場合に、HTTPヘッダが本来の404を返さずに302でリダイレクトしているのではという疑惑があるというのである。

存在しないファイルのHTTPヘッダが404ではなく302とは

早速、「御の字でございます」ブログから引用してみる。

御の字でございます::チカッパさん、すみません

ここのドメインonnoji.com(チカッパ契約)で実在しないアドレス「jjj」をブラウザに入力してhttpヘッダーをキャプチャーした結果です。

http://onnoji.com/jjj がリクエストされる
↓
リクエストされたファイルがない!!
↓
「302」のコードを返し「 http://err.chicappa.jp/404.html 」へリダイレクト
↓
「404」のコードを返す

このエントリーに書かれていることをこちらでも再現するために、FirefoxにLive HTTP Headersのアドオンをインストールして、ツールメニューから「Live HTTP Headers」を起動してトレースところ、確かに存在しないURLでは「HTTP/1.x 302 Found」が返された。

さらに念を押して、「http://e-club3.hyperposition.com/jjj」で試したが、こちらは「HTTP/1.x 404 Not Found」と予想された正しいヘッダとなっている。

もう1つ気になる箇所が、

それよりも・・・・
みなさん、robots.txt、設置してますか?
GoogleやYahoo、その他の検索エンジンのクローラー、あなたのサイトに訪ねてきたら一番最初に「robots.txt」を探します。

ところが、「robots.txt」を設置していなかったら、ロリポップやチカッパのサーバーは、もしかしたら「302」コードを返し、「 http://err.chicappa.jp/404.html 」にリダイレクトして、あなたの他のコンテンツにはクローラーが来ないのでは・・・とゾッとします。

GMOグループのレンタルサーバを利用している方は、ぜひ試してコメントをいただきたい。

手順は、

  1. robots.txtをいったんサーバから削除
    • robots.txtを設置してない場合はそのまま(2)へ
  2. 「自ドメイン/robots.txt」でアクセス
  3. HTTPヘッダをトレース

そこで、正しい「HTTP/1.x 404 Not Found」になっているのか、あるいは「HTTP/1.x 302 Found」なのか、チェックしてみよう。

GMOグループpaperboy&co.が運営するレンタルサーバなど

株式会社paperboy&co.によると、運営しているレンタルサーバやブログは次のとおり。

  • ロリポップ
  • チカッパ
  • ヘテムル
  • ジュゲム

ロリポップは以前も、Yahoo!(YST)がSlurp(=クローラ)を新IPに変更した際にロボット遮断によってトラブって、サイトがインデックス削除されるという事故を起こしているので、何かと作為をやっている可能性が高いから要注意である。

自社サイトはどれも、フッタ部にウルトラクロスリンクしているし…

存在しないファイルの302問題

302とは「一時的に別のアドレスに移動」であるから、基本的な解釈では存在しないファイルは検索エンジンのインデックスから削除されない可能性がある。

とにかく、リダイレクトはスパマーの十八番であるから、非常に面倒臭いトラブルが起こりやすいのである。

Googleのケース

Googleの場合は、302問題はいろいろ変遷しているが、存在しないファイルがインデックスされ続ける可能性が否めない。

そしてその後、GMO以外のレンタルサーバを利用した場合、同一コンテンツならばミラーページである！

Yahoo!のケース

Yahoo!の場合は複雑で、Yahoo!検索 ヘルプ - リダイレクトを設定している場合、どちらのURLがデータベースに登録されますか？によると、

  1. あるドメインに所属するページから、「永久/一時的に」別ドメインのページへリダイレクト →リダイレクト先のURLがデータベースに登録されます。
  2. ドメイン内のページから、「一時的に」同一ドメイン内の別のページへリダイレクト →リダイレクト元のURLが登録されます。

となっているので、上記の例では(a)にあたり、GMOグループの404ページがインデックスされることになる。

これはこれで問題で、レンタルサーバオーナーサイトが集めた存在しないページへのリンク情報が、GMO404に移管されることになる。

そういった屁理屈はともかく、Yahoo!の場合はYST更新によって既に存在しないページが突如として復活することが多く、ヘルプに書いてあることとは裏腹にリダイレクトや削除ページをうまく処理できていない可能性が高い。

そして、同一コンテンツが複数のURLを持つ場合は、これまたミラーページとなりペナルティの温床になるのである。

| 2008-04-05 04:27 PM |

関連するエントリー


セミナーや講座のSEO塾で、コンサルタントとセルフSEO

Yahoo!で順位が落ちた、検索されなくなった、トップページが1000番の圏外に追放された。
Googleで順位変動に悩まされている、ある日突然に数十番も下落した、ディレクトリ丸ごとサイト丸ごと消えた。

アルゴリズム社が運営するSEO塾は、オリジナルで最新の上位表示方法論を確立。しかも順位アップだけでなく、検索エンジン・トラブルのリカバリーにも実績があります。
今すぐGoogle対策のエキスパーのSEO塾にアクセスしましょう！

検索エンジンのアルゴリズムを深く掘り下げ、ペナルティを速く発見。SEO塾セミナーは費用対効果バツグン
最高最強最新のSEO塾セミナーを、東京新宿で随時開催いたします。

上位表示とリカバリー策は業界オンリーワン。よその「SEO対策」に失望したならSEO塾セミナーへ