Scrapy框架安装配置小结

Windows 平台：

系统是 Win7

Python  2.7.7版本

官网文档：http://doc.scrapy.org/en/latest/intro/install.html

1.安装Python

电脑中安装好 Python 2.7.7 版本，安装完之后需要配置环境变量，比如我的安装在D盘，D:\python2.7.7，就把以下两个路径添加到Path变量中

 

1	D:\python2.7.7;D:\python2.7.7\Scripts

配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功

2.安装pywin32

在windows下，必须安装pywin32，在 http://sourceforge.net/projects/pywin32/files/ 这里点击进去后选择对应的版本（注意要与安装的python版本对应），下载后也是双击运行，直接下一步一路完成。

安装完毕之后验证：

在python命令行下输入

import win32com

如果没有提示错误，则证明安装成功

3.安装pip

pip是用来安装其他必要包的工具，首先下载 get-pip.py

下载好之后，选中该文件所在路径，执行下面的命令

 

1	python get-pip.py

执行命令后便会安装好pip，并且同时，它帮你安装了setuptools

安装完了之后在命令行中执行

 

1	pip --version

如果提示如下，说明就安装成功了：

4.安装twisted

在官网官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包：

zope.interface

从https://pypi.python.org/pypi/zope.interface#download下载, 点击进去后，点击download按钮即可，下载完后也是双击运行，一路下一步即可完成。

pyopenssl

从https://pypi.python.org/pypi/pyOpenSSL下载，注意要选择对应python的版本。

可用pip install twisted 安装。

5.安装 lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。直接执行如下命令：

 

1	pip install lxml

就可完成安装。

有时这一步很难安装成功，这是需要下载 .wheel 文件

a. 安装wheel，命令行运行： pip install wheel

b.在这里下载对应的.whl文件，注意别改文件名！ http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

c. 进入.whl所在的文件夹，执行命令即可完成安装:   pip install 带后缀的完整文件名

注意：这里最好安装最新的版本，不然接下来安装的时候可能还会重新安装其他版本的lxml。

这时直接安装Scrapy可能会出现   error: Microsoft Visual C++ 9.0 is required.  提示 Microsoft Visual C++库没安装，则从 https://www.microsoft.com/en-us/download/details.aspx?id=44266 下载支持的库。

6.安装Scrapy

执行如下命令

1	pip install Scrapy

pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！

7.验证安装

输入 Scrapy

如果提示如下命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。

参考：

http://cuiqingcai.com/912.html

http://blog.csdn.net/playstudy/article/details/17296473

https://www.zhihu.com/question/30047496/answer/69754268