Win7下python Scrapy一站式搭建全攻略（内附相关下载链接）

写在前面：

好久没有登录博客了，意外看到之前的几篇文章都有不错的阅读量，开心极了，不过没有什么点赞和评论，大概是没有给大家带来什么切实的帮助吧。o(*////▽////*)q。

最近在NTU负责一个国家研究基金委支持的智能城市交通的项目，第一步就是获取道路交通各种信息，收集分析数据。因为各种原因这次选择了Scrapy这个框架，也是我自己第一次接触python爬虫，圆满完成需求数据爬取之后，我在四台电脑上搭建了Scrapy环境，遇到了各种各样的问题，借此写一篇总结，也希望能够给大家提供一丝丝的帮助，更希望能帮助大家，流畅的搭建完成。

———————————————————————————————————————————————————————————

一、安装python

根据自己的需求，到官网下载适合自己电脑的版本，https://www.python.org/downloads/，这里我选择的是较为稳定的2.7版本

链接: http://pan.baidu.com/s/1i5hZPS5%20 密码: e6qi

安装过程十分简单，除了选择路径，一路next到底即可。完成之后，别忘将python添加到环境变量里。

点击“我的电脑”右键“属性”，进入到如下界面，左上角选择“高级系统设置”：

弹出一个对话框，在对话框里找到并选择“环境变量”选项，进入之后，下方找到“path”，之后编辑，用 ; 隔开，插入安装python的文件路径，这里为了之后安装方便，也将python下的script路径给添加进来。

                          

添加到环境变量之后，打开命令行，输入，python，如果出现如下界面则安装成功，如果显示不是内部外部命令，回去检查环境变量设置环节。很大可能是误输入中文输入法之下的；检查一遍，修改之后，重启命令行再输入一遍。

二、安装pywin32

在Windows下，必须安装pywin32，下载地址：https://sourceforge.net/projects/pywin32/，链接: http://pan.baidu.com/s/1hsmL92W 密码: 3qnf

安装过程也很简单，一路next到底，安装完毕之后在命令行先输入python，之后输入import win32com验证：

如图所示，如果没有提示错误，则证明安装成功，如果错误就再来一遍，这个步骤一般不会出现问题。

三、安装pip

pip是一个安装和管理python包的工具,可以替代easy_install。下载地址：https://bootstrap.pypa.io/get-pip.py 或 http://pan.baidu.com/s/1dFKbFP3%20 密码：m3ar

打开命令行进入到保存get-pip的路径进行操作，可以用cd的命令，也可以shift+右键选择用命令行打开。然后键入：

python get-pip.py

即可

安装完成后在命令行输入

pip --version 

显示即安装成功

四、安装pyOPENSSL

在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。

安装地址：https://launchpad.net/pyopenssl 或 http://pan.baidu.com/s/1hrXS4Fa 密码：25pd

下载后，双击，一路next就可以。

五、安装 lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML

直接执行如下命令

pip install lxml

然后，我们迎来了一个大坑，这里可能会报各种错，比较常见的：

1.报错说电脑没有匹配的 Microsoft Visual C++库，点击官网下载安装，点击网盘下载安装，密码：37h2。安装完成后重启命令行再次执行上述命令

2.报其他乱七八糟的错，或者上述库安装完成以后依旧不成功。这个时候可以尝试

easy_install lxml

或者，下载集成的安装包，直接双击一路next安装。如果还是不行，一个屡试不爽的方法，下载lxml.wheel文件。然后在wheel目录下键入

pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl

六、安装Scrapy框架

在命令行下

pip install Scrapy

安装完毕后，在命令行输入Scrapy，如果显示如下图所示，则安装成功：

七、编译程序的时候发现，经常报告缺失lib2，所以这里附上安装httplib2的方法

下载，然后解压，在httolib2目录下，pip install httplib2 即可。

————————————————————————————————————————————————————————————

如果还有其他问题，欢迎留言讨论交流。