Nginx的防爬虫优化

我们可以根据客户端的 user-agents 首部字段来阻止指定的爬虫爬取我们的网站：

虚拟主机配置如下：（红色标记为添加或者修改内容）

[root@Nginx www_date]# cat brian.conf
    server {
        listen       ;
        server_name  www.brian.com;
    　　 if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot") {
         　　return 403;
　　　　　　}
        location / {
            root   html/brian;
            index  index.html index.htm;
            #limit_conn addr ;
        limit_conn perserver ;
        auth_basic    "brian training";
        auth_basic_user_file  /opt/nginx/conf/htpasswd;

        }
    location ~ .*\.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ {
        access_log off;
    }
        access_log logs/brian.log main gzip buffer=128k flush=5s;
        error_page        /50x.html;
        location = /50x.html {
            root   html;
        }
 }