トップページ»9.雑記»やりすぎじゃありません?(・_・;)

9.雑記



やりすぎじゃありません?(・_・;)

ウチの携帯サイトの「超」が付く常連さんがいる。 この際名前を言ってしまおう。 Yahooの携帯サイトクローラーボットさん、あなた来過ぎ。

今週5日からついさっきまでのログを調べたら、なんと9割がたは同氏の訪問によるもの。 24時間ぶっ続けで来てます。

ログ見る限りボットさん40台近くいるらしいですけど、各々が連携していないのか同時に複数台が別のページにアクセスしてくることも頻繁。

拾っていってもらうことはうれしい限りなんですが、こちらの事情もあるわけで。 貧弱なサーバーに加えて携帯ページはダイナミック生成なのですよ。 従ってあなたが来るたびに24時間DB回しているような状態な訳です。 ええ、公開しているのはこっちだから仕方ないのは分かってますが。

愚痴でした。




追記:
40台近くなんてウソやないの。 64台あるやないの…(2007/08/10現在)

mocr00.search.ogk.yahoo.co.jp 124.83.159.146
mocr01.search.ogk.yahoo.co.jp 124.83.159.147
mocr02.search.ogk.yahoo.co.jp 124.83.159.148
mocr03.search.ogk.yahoo.co.jp 124.83.159.149
mocr04.search.ogk.yahoo.co.jp 124.83.159.150
mocr05.search.ogk.yahoo.co.jp 124.83.159.151
mocr06.search.ogk.yahoo.co.jp 124.83.159.152
mocr07.search.ogk.yahoo.co.jp 124.83.159.153
mocr08.search.ogk.yahoo.co.jp 124.83.159.154
mocr09.search.ogk.yahoo.co.jp 124.83.159.155
mocr10.search.ogk.yahoo.co.jp 124.83.159.156
mocr11.search.ogk.yahoo.co.jp 124.83.159.157
mocr12.search.ogk.yahoo.co.jp 124.83.159.158
mocr13.search.ogk.yahoo.co.jp 124.83.159.159
mocr14.search.ogk.yahoo.co.jp 124.83.159.160
mocr15.search.ogk.yahoo.co.jp 124.83.159.161
mocr16.search.ogk.yahoo.co.jp 124.83.159.162
mocr17.search.ogk.yahoo.co.jp 124.83.159.163
mocr18.search.ogk.yahoo.co.jp 124.83.159.164
mocr19.search.ogk.yahoo.co.jp 124.83.159.165
mocr20.search.ogk.yahoo.co.jp 124.83.159.166
mocr21.search.ogk.yahoo.co.jp 124.83.159.167
mocr22.search.ogk.yahoo.co.jp 124.83.159.168
mocr23.search.ogk.yahoo.co.jp 124.83.159.169
mocr24.search.ogk.yahoo.co.jp 124.83.159.170
mocr25.search.ogk.yahoo.co.jp 124.83.159.171
mocr26.search.ogk.yahoo.co.jp 124.83.159.172
mocr27.search.ogk.yahoo.co.jp 124.83.159.173
mocr28.search.ogk.yahoo.co.jp 124.83.159.174
mocr29.search.ogk.yahoo.co.jp 124.83.159.175
mocr30.search.ogk.yahoo.co.jp 124.83.159.176
mocr31.search.ogk.yahoo.co.jp 124.83.159.177
mocr32.search.ogk.yahoo.co.jp 124.83.159.178
mocr33.search.ogk.yahoo.co.jp 124.83.159.179
mocr34.search.ogk.yahoo.co.jp 124.83.159.180
mocr35.search.ogk.yahoo.co.jp 124.83.159.181
mocr36.search.ogk.yahoo.co.jp 124.83.159.182
mocr37.search.ogk.yahoo.co.jp 124.83.159.183
mocr38.search.ogk.yahoo.co.jp 124.83.159.184
mocr39.search.ogk.yahoo.co.jp 124.83.159.185
mocr40.search.ogk.yahoo.co.jp 124.83.159.224
mocr41.search.ogk.yahoo.co.jp 124.83.159.225
mocr42.search.ogk.yahoo.co.jp 124.83.159.226
mocr43.search.ogk.yahoo.co.jp 124.83.159.227
mocr44.search.ogk.yahoo.co.jp 124.83.159.228
mocr45.search.ogk.yahoo.co.jp 124.83.159.229
mocr46.search.ogk.yahoo.co.jp 124.83.159.230
mocr47.search.ogk.yahoo.co.jp 124.83.159.231
mocr48.search.ogk.yahoo.co.jp 124.83.159.232
mocr49.search.ogk.yahoo.co.jp 124.83.159.233
mocr50.search.ogk.yahoo.co.jp 124.83.159.234
mocr51.search.ogk.yahoo.co.jp 124.83.159.235
mocr52.search.ogk.yahoo.co.jp 124.83.159.236
mocr53.search.ogk.yahoo.co.jp 124.83.159.237
mocr54.search.ogk.yahoo.co.jp 124.83.159.238
mocr55.search.ogk.yahoo.co.jp 124.83.159.239
mocr56.search.ogk.yahoo.co.jp 124.83.159.240
mocr57.search.ogk.yahoo.co.jp 124.83.159.241
mocr58.search.ogk.yahoo.co.jp 124.83.159.242
mocr59.search.ogk.yahoo.co.jp 124.83.159.243
mocr60.search.ogk.yahoo.co.jp 124.83.159.244
mocr61.search.ogk.yahoo.co.jp 124.83.159.245
mocr62.search.ogk.yahoo.co.jp 124.83.159.246
mocr63.search.ogk.yahoo.co.jp 124.83.159.247

ちなみにウチに来てるのはmocr00~mocr30番台のサーバーでした。

2007-10-09追記:
おさまりそうも無いので、robots.txtにCrawl-delayを入れることにしました。 でもYahooのクローラーボットさん、robots.txtを見に来てくれる頻度低そうなので、いつ頃から有効になることやら。 様子見ですね。 そもそもCrawl-delayに対応しているか分かってませんし。

2007-10-13追記:
ところがどっこい、ここのクローラーボットさん、ログを見る限り1ヶ月に1回しかrobots.txt拾っていかないらしい。 Googleは明示的に1日1回とか言っていますが、Yahooの説明にはそれっぽい記述見当たらないし。 企業によって考え方もまちまちなんですかね。 待つしかないか。 しかしあまり良い印象は持てないですねぇ。 Yahooさん。


投稿日 : 2007年8月10日

この記事に関する言及

このエントリーのトラックバックURL:
http://akionweb.com/mt-tb.cgi/395

このリストは、次のエントリーを参照しています: やりすぎじゃありません?(・_・;):

» どうもアクセスが多いと思ったら from 武蔵小杉で格安ダーツバー経営
昨日(9/19)か一昨日(9/18)ぐらいから、UserAgent が “DoCoMo” だけの ユーザが、頻繁にこのブログを見て... [続きを読む]

トラックバック時刻: 2007年9月20日 10:49

コメント

このページに対する感想、意見をお寄せ下さい。




保存しますか?

(書式を変更するような一部のHTMLタグを使うことができます)

おことわり

当サイトに掲載している全ての情報は、全て当サイト管理者が個人的、実験的に試した事、又は独自に調査したものです。 従ってその情報に誤りがある可能性も多分にあります。 当サイトの情報をそのまま鵜呑みにされませんようお願い申し上げます。 また当サイトの情報を元に作業されたりする場合はそれをご理解頂いた上で、あくまで自己責任の元で行ってください。

トップページ»9.雑記»やりすぎじゃありません?(・_・;)