爬虫代理squid

 yum -y install squid

配置文件一般是在/etc/squid3/下的squid.conf文件

pyspider使用的时候只需要设置代理服务器为你配置好的服务器的ＩＰ就可以了

 class Handler(BaseHandler):
     crawl_config = {
         'proxy': '127.0.0.1:6666'
     }