サーバー エラーが増えています

googleのウェブマスターツールから題目のようなメールが飛んできた。

調べてみるとクローラが鬼のようにmt-search.cgiを叩いている模様。

クローラってこういうこともするんですね。

ということで対策を考えてみた。


(1)クローラからmt-search.cgiを叩けないようにする。
 サーバーのrobots.txtで、クローラーからは検索CGIを叩けないように設定。 

 (Google・Yahoo!、Bingは公式で、robots.txtに従いますよ、という話になっているはずなので)


 以下のように、robots.txtを変更して
 ルートディレクトリに置く。

 User-Agent: *
 Disallow: /cgi-bin/mt-cgi/mt-search.cgi

 これで大手のクローラーは排除できるものの、
 海外からの悪質なクローラーはrobots.txtには従わないものもある。


(2)Googleのサイトマップ検索使う

(3)mt-search.cgiの代替を使う
 mt-search.cgiの代替プログラム。
 mt-search.cgiを捨てて簡単メタサーチにしてみよう
 MTLiteSearch(mt-search.cgiの代替プログラム)。
 Fast Search - PHP Fulltext Search Plugin
 mt-search.cgiの代わりの検索プログラムを作ってみた。

タグ:

コメント(0)

コメントを投稿する