python爬虫框架（3）--Scrapy框架安装配置

1.安装python并将scripts配置进环境变量中

2.安装pywin32

在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/

下载对应版本的pywin32，直接双击安装即可，安装完毕之后验证：

在python命令行下输入

import win32com

如果没有提示错误，则证明安装成功

3.安装pip

pip是用来安装其他必要包的工具，首先下载 get-pip.py

python get-pip.py

执行命令后便会安装好pip，并且同时，它帮你安装了setuptools

安装完了之后在命令行中执行

pip --version

4.安装pyOPENSSL

在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。

安装地址：https://launchpad.net/pyopenssl

在python命令行下输入

import OpenSSL

如果没有提示错误，则证明安装成功

5.安装 lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML

直接执行如下命令

pip install lxml

6.安装Scrapy

执行如下命令

pip install Scrapy

pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！

7.验证安装

输入 Scrapy

如果提示如下命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。

可能会遇到AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'的问题，原因是使用pip install Scrapy自动安装了较高版本的Twisted

解决办法：安装低版本的twisted

pip install twisted==13.1.0