Scrapy学习1：安装

Install Scrapy

熟悉PyPI的话，直接一句

pip install Scrapy

但是有时候需要处理安装依赖，不能直接一句命令就安装结束，这个和系统有关。

我用的Ubuntu，这里仅介绍Ubuntu12.04及以上的版本。

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

先执行上面命令安装lxml和cryptography的依赖库。

如果是想在Python3上安装scrapy,还需要输入

sudo apt-get install python3 python3-dev

最后一步

pip install scrapy

安装完成

不要用Ubuntu提供的python-scrapy包来安装，不方便获取最新scrapy。

Using a virtual environment

官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单

sudo pip install virtualenv

简单介绍下virtualenv的使用。要创建一个虚拟环境，我们输入：

virtualenv ENV

这样一个放置在ENV文件夹的虚拟环境就搭好了

搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。

cd ENV
source bin/activate

如果成功进入虚拟环境，你可以看到最前面出现了一个(env)提示符，比如下面这样的。

(env)ubuntu@VM-197-0-ubuntu:~/env/bin$

然后正常安装scrapy就可以了。

要退出虚拟环境，只要

deactivate

Reference：

Scrapy Doc

Scrapy Github

virtualenv Doc