Naver/Yeti拒否

クローラーが非常にウザイ。数秒おきにやってきて負荷が高くなってしまう。という事でApacheでアクセスを拒否した。

 Order allow,deny
 Allow from all
 Deny from 61.247.192.0/19
 
 SetEnvIf User-Agent yetibot no_log
 CustomLog /var/log/httpd/access_log combined env=!no_log

それでも頻繁にアクセスしてくるので、hosts.denyでそもそも拒否してやろうか考え中。

Baiduもウザイそうだが、ウチはそこまでではないので、今のところはスルーしている。日本向けにサービスを開始したようなのだが、行儀が悪いと拒否されちゃうよ？