python3 安装scrapy

twisted（网络异步框架）

wget https://pypi.python.org/packages/dc/c0/a0114a6d7fa211c0904b0de931e8cafb5210ad824996cc6a9d67f3bae22c/Twisted-16.6.0.tar.bz2

tar -xjvf Twisted-16.6.0.tar.bz2
cd Twisted-16.6.0
python setup.py install

pip3 install scrapy

教程参考地址：

http://www.cnblogs.com/wuxl360/p/5567631.html

http://www.cnblogs.com/Shirlies/p/4536880.html

http://blog.csdn.net/buptzhengchaojie/article/details/49962437

http://www.tuicool.com/articles/y6fErea

http://www.w~2bc.com/Article/44862

scrapy-爬虫-错误之------exceptions.ImportError: No module named _sqlite3

yum install sqlite-devel后再重新编译python

利用crawlera神器，无需再寻找代理IP（注册时建议用gmail，国内的邮箱一直没有收到验证码，比较悲催。。）现在已收费

参考地址：http://www.tuicool.com/articles/7ZnYJb2

自己构建代理IP池

参考地址：https://github.com/aivarsk/scrapy-proxies