scrapy在ubuntu上安装总结

　　此文档是本人学习时使用的，采用一个实例作为引导进行安装测试。

　　实例下载地址如下：

　　https://github.com/sans-serif/scrapy-german-news#introduction

　　解压之后为：scrapy-german-news-master

　　修改requirements.txt 删除psycopg2==2.6.1

　　其中requirements.txt内容如下：

　　********************************************************************

　　attrs==15.2.0

　　cffi==1.5.2

　　cryptography==1.2.3

　　cssselect==0.9.1

　　enum34==1.1.2

　　idna==2.0

　　ipaddress==1.0.16

　　lxml==3.5.0

　　psycopg2==2.6.1

　　pyasn1==0.1.9

　　pyasn1-modules==0.0.8

　　pycparser==2.14

　　pyOpenSSL==0.15.1

　　queuelib==1.4.2

　　Scrapy==1.0.5

　　service-identity==16.0.0

　　six==1.10.0

　　Twisted==15.5.0

　　w3lib==1.13.0

　　zope.interface==4.1.3

　　********************************************************************

　　按理只需此文件即可，scrapy-german-news-master只是测试工程。

---

具体安装步骤如下：

第一步：

安装pip: sudo apt-get install python-pip

第二步：安装依赖

sudo apt-get install libffi-dev

sudo apt-get install python-dev

sudo apt-get install libxml2-dev

sudo apt-get install libxslt-dev

第三步：

　　准备好requirements.txt文件。

　　sudo pip install -r requirements.txt

第四步：安装postgresql

sudo apt-get install postgresql

sudo apt-get install python-psycopg2

sudo apt-get install libpq-dev

sudo pip install psycopg2==2.6.1

安装完成

测试运行，看是否安装成功：

　　进入目录scrapy-german-news-master 运行 scrapy crawl faz

　　如果能看到开始抓取数据，则认为配置成功

　　

---

如安装过程中出现如下错误，解决方案：

（1）ImportError: No module named pkg_resources 解决方法：

　　sudo apt-get install --reinstall python-pkg-resources

（2）pkg_resources.DistributionNotFound: setuptools>=11.3 解决方法：

　　sudo pip install -U distribute

（3）pip install psycopg2  错误，解决如下：

　　sudo apt-get install postgresql

　　sudo apt-get install python-psycopg2

　　sudo apt-get install libpq-dev

（4）c/_cffi_backend.c:2:20: 致命错误： Python.h：没有那个文件或目录， 解决如下：

　　sudo apt-get install python-dev

（5）src/lxml/includes/etree_defs.h:14:31: 致命错误： libxml/xmlversion.h：没有那个文件或目录，解决如下：

　　apt-get install libxml2-dev libxslt-dev

（6）关于这个libffi，错误，解决如下：

　　sudo apt-get install libffi-dev

(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解决如下：

　　sudo apt-get install libssl-dev

备注：以上测试工程采用的是postgresql数据库，也可以采用mysql