ウェブサイトのヒット数が突如何倍にもに急増する魔法にかかった?
うちの会社でホスティングやASP/SaaSのサービスを提供しているウェブサーバのログによると・・・、
なんと12月の中ごろから突然ヒット数が毎日2倍から4倍になるという現象が起こってます。
当初ヒット数だけの速報値をながめて、「なにが起こったんだろう?」、「悪意のあるアタックかな?」、「SEOの効果が急に出たとか、Googleのロジックが変更になったとか??」などど騒然。
冷静にログを確認し、またネット上の情報収集と併せて判明したのは、
”中国の検索サイト『百度(baidu)』のクローラーがやってきて盛んに活動している”
らしいということ。
この百度のクローラーの所業については、困りもんだという話がやはりあるようです。アクセスを制限しないといけない事態になっているサイトもあるようで・・・。
アクセス数だけでなくお行儀が悪いという記述も方々でみられました。
うーむ。。。
---百度のクローラーのアクセスについて書かれているブログをいくつか---
「百度(バイドゥ)」はまともか?(とあるWeb屋さんのメモ書きとかいろいろ)
http://parrotlabo.blog87.fc2.com/blog-entry-5.html
百度のクローラー(えじログ)
http://aeg.blog3.fc2.com/blog-entry-38.html
---
どうも去年の秋ごろから盛んになっているようです。
弊社で確認したのは12月の中ごろからで、まだ続いています。当然お正月休みも無し(ロボットだからね)。
日本市場向けのサービスも展開しようとしているということで、今後の動向も気になりますが、それにしてもどういうロジックになってるんでしょう?やりすぎです。
まあ、今のところは、クローラーがやってくるのは何かきっかけがあったサイトに限られるようですが、日本中のサイトをカバーするようになったら、日本中のサーバの負荷が3倍になっちゃう?
(※注: えーと、このへん技術的なことはあまり深く確認せずに書いてます。^_^;)
ひとまずは、アクセス解析の際にフィルタリングして惑わされないようにするわけですが、このまま続くようだと場合によっては、アクセスそのものを制限したほうがいいという判断もあるかもしれません。
判断基準は、当該サイトとして百度に認識されている必要性があるかどうか、ということになるでしょう。
YahooやGoogleにはとにかく認識してもらいたいし、さらにより高い検索順位になるようにしたいというのは、普通の話ですが、「特定の検索サイトには無視してもらいたい」なんてケースも今後は出てくるのかな。