Python3.X下安装Scrapy (转载)

2017年08月09日 15:19:30 jingzhilie7908 阅读数:519 标签: python
 
相信很多同学对于爬虫需要安装Scrapy时候,不想特地去安装2.X版本
我也是这样一个懒人,我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装,所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml,下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml,比如我的电脑,我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口,输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试,敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口,输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错,并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

我自己对原文做了一定修改和精简方便各位初学者,如果有问题也可以在本帖回复,我能够作答一定会告诉你的

原文地址:http://bbs.fishc.com/thread-84202-1-1.html

Python3.X下安装Scrapy的更多相关文章

  1. win7中python3.4下安装scrapy爬虫框架(亲测可用)

    貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤: 1.首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyO ...

  2. 在python3.5下安装scrapy包

    此前scrapy只支持python2.x 但是最新的1.1.0rc1已结开始支持py3了 如果电脑上安装了scrapy的依赖包,诸如lxml.OpenSSL 1.你直接下载Scrapy-1.1.0rc ...

  3. Python3下安装Scrapy

    在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考. 首先,直接进入Scrapy网站的文档Installation guide下的 Installing Sc ...

  4. Python3.5中安装Scrapy包时出现问题

    在Python3.5中安装Scrapy第三方库 pip install Scrapy 安装到后面出现的这类错误: error: Microsoft Visual C++ 14.0 is require ...

  5. Windows10 下安装scrapy 日志

    Windows10 下安装scrapy 日志 1.下载python3.6 2.添加python.exe和pip.exe的路径到系统环境变量path中 如c:\python36_64 C:\Python ...

  6. centos7 python3.5 下安装paramiko

    centos7 python3.5 下安装paramiko 安装开发包 yum install openssl openssl-devel python-dev -y 安装pip前需要前置安装setu ...

  7. [原创] ubuntu下安装scrapy报错 error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

    Ubuntu14.04在virtualenv下安装scrapy报错,Failed building wheel for cffi,lxml,cryptography 等. error: command ...

  8. python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

    windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visu ...

  9. python3.7.1安装Scrapy爬虫框架

    python3.7.1安装Scrapy爬虫框架 环境:win7(64位), Python3.7.1(64位) 一.安装pyhthon 详见Python环境搭建:http://www.runoob.co ...

随机推荐

  1. 最详细的Android SDK下载安装及配置教程

    文章转载与:https://blog.csdn.net/dr_neo/article/details/49870587 最近Neo突发神经,想要将学过的一些计算机视觉.机器学习中的算法都放到移动设备上 ...

  2. Codeforces Round #568 Div. 2

    没有找到这场div3被改成div2的理由. A:签到. #include<bits/stdc++.h> using namespace std; #define ll long long ...

  3. node-red 使用 创建第一个流程

    前言 这只是一个简单的示例,具体详细文档去官网查看 官网指南:https://nodered.org/docs/user-guide/ 打开浏览器,进入编辑器页面:http://localhost:1 ...

  4. 【ABAP】第一章-基础

    1. ABAP语法基础 1.1 基本数据类型 C.N.D.T.I.F.P.X.string.Xstring P:默认为8字节,最大允许16字节.最大整数位:16*2 = 32 - 1 = 31 -14 ...

  5. HBuilder 方便局域网访问调试

    同一个局域网,通过IP不能访问我本地的项目,各种测试发现原来是防火墙的问题: 这里附上参考文档:内置web服务器被防火墙禁用导致预览和运行异常的解决方案

  6. java之struts2的配置讲解(2)

    在 java之struts框架入门教程 基础上,进行下列操作 1.结构对比 原来的项目结构图 现在的结构图 即从结构上可以看出,在HelloStruts项目中增加了config 文件夹(Source ...

  7. VS 引用dll版本冲突问题

    1.删除项目中的对应引用: 2.如果是有用到NetGet引用的删除项目中的packages里面的对应包文件: 3.如果是在NetGet中引用的注释项目中packages.config对应的插件名: 4 ...

  8. wbSocket

    <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <m ...

  9. DuplexChannel

    [ServiceContract(Namespace = "http://xx.com", CallbackContract = typeof(Ipub_c))] public i ...

  10. oracle 查询 10题

    说明:表数据来自oracle 初始用户之一scott里面的三个初始表:emp,dept,salgrade --1.查询员工表中工资最高的雇员的员工号.员工姓名.工资和部门号. select empno ...