Python3.X下安装Scrapy

Python3.X下安装Scrapy （转载）

2017年08月09日 15:19:30 jingzhilie7908 阅读数：519 标签： python

 

相信很多同学对于爬虫需要安装Scrapy时候，不想特地去安装2.X版本
我也是这样一个懒人，我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装，所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml，比如我的电脑，我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口，输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试，敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口，输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错，并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

我自己对原文做了一定修改和精简方便各位初学者，如果有问题也可以在本帖回复，我能够作答一定会告诉你的

原文地址：http://bbs.fishc.com/thread-84202-1-1.html