分かりにくいアルゴ、突然襲い来る順位変動、とりあえずカテゴリー登録、集客力日本一のヤフーだから
順位変動、ペナルティ、商用サイトをもてあそぶ検索シェア世界ナンバーワンのグーグルは神か悪魔か
Windowsも検索エンジンも音楽配信もゲーム機も、帝国は生き延びることができるか？ マイクロソフト
2008-04-05
チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル
これもYahoo!ログール経由でRSSリーダーに登録している『御の字でございます』の気になった記事から。
GMOグループのpaperboy&co.が運営しているチカッパやロリポップのサーバでは、存在しないファイルにアクセスした場合に、HTTPヘッダが本来の404を返さずに302でリダイレクトしているのではという疑惑があるというのである。
存在しないファイルのHTTPヘッダが404ではなく302とは
早速、「御の字でございます」ブログから引用してみる。
ここのドメインonnoji.com(チカッパ契約)で実在しないアドレス「jjj」をブラウザに入力してhttpヘッダーをキャプチャーした結果です。
http://onnoji.com/jjj がリクエストされる
↓
リクエストされたファイルがない!!
↓
「302」のコードを返し「 http://err.chicappa.jp/404.html 」へリダイレクト
↓
「404」のコードを返す
このエントリーに書かれていることをこちらでも再現するために、FirefoxにLive HTTP Headersのアドオンをインストールして、ツールメニューから「Live HTTP Headers」を起動してトレースところ、確かに存在しないURLでは「HTTP/1.x 302 Found」が返された。
さらに念を押して、「http://e-club3.hyperposition.com/jjj」で試したが、こちらは「HTTP/1.x 404 Not Found」と予想された正しいヘッダとなっている。
もう1つ気になる箇所が、
それよりも・・・・
みなさん、robots.txt、設置してますか?
GoogleやYahoo、その他の検索エンジンのクローラー、あなたのサイトに訪ねてきたら一番最初に「robots.txt」を探します。
ところが、「robots.txt」を設置していなかったら、ロリポップやチカッパのサーバーは、もしかしたら「302」コードを返し、「 http://err.chicappa.jp/404.html 」にリダイレクトして、あなたの他のコンテンツにはクローラーが来ないのでは・・・とゾッとします。
GMOグループのレンタルサーバを利用している方は、ぜひ試してコメントをいただきたい。
手順は、
- robots.txtをいったんサーバから削除
- robots.txtを設置してない場合はそのまま(2)へ
- 「自ドメイン/robots.txt」でアクセス
- HTTPヘッダをトレース
そこで、正しい「HTTP/1.x 404 Not Found」になっているのか、あるいは「HTTP/1.x 302 Found」なのか、チェックしてみよう。
GMOグループpaperboy&co.が運営するレンタルサーバなど
株式会社paperboy&co.によると、運営しているレンタルサーバやブログは次のとおり。
- ロリポップ
- チカッパ
- ヘテムル
- ジュゲム
ロリポップは以前も、Yahoo!(YST)がSlurp(=クローラ)を新IPに変更した際にロボット遮断によってトラブって、サイトがインデックス削除されるという事故を起こしているので、何かと作為をやっている可能性が高いから要注意である。
自社サイトはどれも、フッタ部にウルトラクロスリンクしているし…
存在しないファイルの302問題
302とは「一時的に別のアドレスに移動」であるから、基本的な解釈では存在しないファイルは検索エンジンのインデックスから削除されない可能性がある。
とにかく、リダイレクトはスパマーの十八番であるから、非常に面倒臭いトラブルが起こりやすいのである。
Googleのケース
Googleの場合は、302問題はいろいろ変遷しているが、存在しないファイルがインデックスされ続ける可能性が否めない。
そしてその後、GMO以外のレンタルサーバを利用した場合、同一コンテンツならばミラーページである！
Yahoo!のケース
Yahoo!の場合は複雑で、Yahoo!検索 ヘルプ - リダイレクトを設定している場合、どちらのURLがデータベースに登録されますか？によると、
- あるドメインに所属するページから、「永久/一時的に」別ドメインのページへリダイレクト →リダイレクト先のURLがデータベースに登録されます。
- ドメイン内のページから、「一時的に」同一ドメイン内の別のページへリダイレクト →リダイレクト元のURLが登録されます。
となっているので、上記の例では(a)にあたり、GMOグループの404ページがインデックスされることになる。
これはこれで問題で、レンタルサーバオーナーサイトが集めた存在しないページへのリンク情報が、GMO404に移管されることになる。
そういった屁理屈はともかく、Yahoo!の場合はYST更新によって既に存在しないページが突如として復活することが多く、ヘルプに書いてあることとは裏腹にリダイレクトや削除ページをうまく処理できていない可能性が高い。
そして、同一コンテンツが複数のURLを持つ場合は、これまたミラーページとなりペナルティの温床になるのである。
| コメント (3) | トラックバック (0) | 2008-04-05 04:27 PM [ 管理人編集 ]
Yahoo!ショッピング趣味部門ベストストア1位の「T.J GrosNet」 - 倒産、夜逃げ、差し押さえ
セミナーや講座のSEO塾で、コンサルタントとセルフSEO
Yahoo!で順位が落ちた、検索されなくなった、トップページが1000番の圏外に追放された。
Googleで順位変動に悩まされている、ある日突然に数十番も下落した、ディレクトリ丸ごとサイト丸ごと消えた。
アルゴリズム社が運営するSEO塾は、オリジナルで最新の上位表示方法論を確立。しかも順位アップだけでなく、検索エンジン・トラブルのリカバリーにも実績があります。
今すぐ『上位表示と順位変動リカバリーのSEO塾』にアクセスしましょう！
トラックバック
このエントリーのトラックバックURL:
"チカッパ・ロリポップの404は302？ - 永遠にインデックスされ続ける削除ファイル"の紹介記事が書かれていない場合は、スパムとみなされトラックバックできません。
このエントリーへのトラックバックはまだありません。
コメント
GMOグループは、レンタルサーバおよびドメイン関連事業にて、この手法(エラーページで広告を表示)を採用しており、グループ全体でオーバーチュア月間8000万円から1億超の収益を上げています。
主な事業が低迷している企業体ですので、クレームがあったとしても設定の変更は行いそうにありません。
将来、ペーパーボーイの上場気配があった際にクレームを集中させれば、改善されるかもしれません。広告よりも上場益の方が魅了的なはずですから。
ロリポップで、robots.txtなしのサイトにアクセスしてみたところ、同じように302でエラーページにリダイレクトしてます。
今までに何か問題があったようなことはないですが、よろしくないですねぇ。
はじめまして。
トラバ送ったのですが403 Throttledになってしまうのでコメントで。
自分で404ページを設定していないデフォルトだと302→404を返しますが、自分で404ページを設定していればリダイレクトなしで404を返しているようです。
ちなみにクローラーは普通に巡回しているようです。
