这几天，很多朋友在群里问Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。

Scrapy是Python网络爬虫的一个框架，十分好用，深得大家的青睐，其工作原理，在在此就不赘述了。

1、正常我们在Python库的时候，只需要利用cmd命令打开命令行窗口，然后输入pip install 库，就可以正常安装了，但是在安装Scrapy的时候，输入pip install scrapy之后往往会碰到下图的问题。

2、这个问题的出现，是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后，就可以顺利安装scrapy了。给大家安利一个福利，介绍给大家一个非常实用的Python包网站，这个网站很神奇，里边的Python包专门用于Windows下的安装的，如下图所示。

3、之后在该网站上查找lxml，也可以输入Ctrl+f进行查找，找到之后如下图所示。

4、点击“lxml”，找到lxml安装包，如下图所示。找到对应自己Python版本的lxml安装包，小编的电脑是64位的，而且Python版本是Python3.4，所以找到下图红色框框的安装包，点击即可进行下载。同理，其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。

5、然后去下载的目录，将lxml进行安装即可，输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。

6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后，再重新输入pip install scrapy即可顺利安装了，不会再报错了，如下图所示。

7、输入pip list可以查看已经安装的scrapy包，如下图所示。

8、之后我们就可以正常使用scrapy了，可以创建scrapy项目等等。

9、还有一些小伙伴遇到的问题是这个：

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1

这个是因为本机缺乏visual C++的安装环境，此时只需要进入http://landinghub.visualstudio.com/visual-cpp-build-tools这个网站，下载对应电脑版本的visual C++环境，进行安装之后即可解决问题。

这个安装包比较大，等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示该平台不支持这个安装包，如下图所示。

之前的lxml安装包不是直接安装就成功了吗？为何这个安装包会出现这个问题呢？此时，首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上，如果确认没有问题，再继续往下看。

在这里小编给大家介绍一个小技巧，专门用来应对这样的问题的。进入到所下载的安装包，这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例，进入到下载目录下，一般下载之后将其放到虚拟环境的site-packages文件夹下面，尔后将后缀.whl更改为.zip，将后缀.whl更改为.zip，将后缀.whl更改为.zip，重要的事情说三遍，有木有觉得很熟悉？对，它就是个压缩文件，现在将压缩包里边的内容全部解压到当前文件夹，如下图所示。

之后在虚拟环境下输入pip list命令查看安装包，可以看到Twisted安装包已经在里边了，如下图所示。第一个pip list命令的时候尚未解压Twisted安装包，此时并没有Twisted库；第二个pip list命令是在Twisted安装包解压之后执行的，可以看到Twisted库已经在里边了。

Twisted库安装好之后，再安装其他的库，如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法，希望对大家日后安装Scrapy的时候有所帮助，可能每个人的平台和环境都不太一样，肯定会碰到其他的安装问题，欢迎大家一起学习交流~~

Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程的更多相关文章

  1. Windows下使用AutoSSH，并作为服务自启动（不用安装Cygwin）

    之前的折腾过Windows下ssh的自动登录,比如这篇Windows下使用Xshell建立反向隧道,但是这个不能无交互的情况下自动连接(比如在连接新主机时),也就很难在服务中使用.解决方法还是得使用命 ...

  2. linux下安装cmake方法（2）---直接用命令安装

    1.linux环境下打开网页,输入上网账号密码,确保已经联网 2.打开终端:输入cmake --version,如果出现版本号,表明已经安装,如果显示没有安装cmake,则需要安装 3.在终端里输入: ...

  3. windows下typora图片自动上传到图床（附带腾讯云教程）

    目录 1. 背景 2. 在Typora中使用 3. 安装 3.1 安装教程环境说明 3.2 安装步骤 3.3 配置图床 3.3.1 插件配置 3.3.2 腾讯云参数获取 3.3.2.1 新建子用户,获 ...

  4. Windows下python virtualenv使用，镜像源设置，批量安装，安装scipy，numpy

    镜像源设置 在C:\Users\Administrator\下建立pip文件夹,然后在里面创建了一个pip.ini 内容为: [global]index-url = https://pypi.tuna ...

  5. Windows下Notepad++连接VMWare中的linux，然后无法安装NppFTP

    一.关于Notepad++版本 我的版本是最新版本:Notepad++ v7.7 32bit 版本最好选择32bit的,看别处的说法是官网上有这样的说明: Note that the most of ...

  6. GitHub常用上传文件的两种方法 附带常见的问题及Git安装教程

    从早上下课到现在一直在琢磨如何给Github下载本地文件,中午饭都没吃.还好是解决了,感觉挺有成就感的.O(∩_∩)O哈哈~ 好哒 闲话不说,说重点. 一.git的安装 百度云:http://pan. ...

  7. postgreSQL中跨库查询在windows下的实现方法

    以下是在postgreSQL 8.1版本中的实践,其他版本类似: 1.将C:\Program Files\PostgreSQL\8.1\share\contrib下的dblink.sql复制到C:\P ...

  8. 转：windows下多线程通信方法

    多线程知识简介 同一进程中可以包含多个线程,由于进程中的多个线程可以共享进程中的资源,所以使同一进程中的多个线程之间通信相对比较简单. 当需要有多个线程来访问一个全局变量时,通常我们会在这个全局变量前 ...

  9. windows下 navicat_premium破解方法

    https://blog.csdn.net/qq_21205435/article/details/78902052

随机推荐

  1. MLPclassifier，MLP 多层感知器的的缩写（Multi-layer Perceptron）

    先看代码(sklearn的示例代码): from sklearn.neural_network import MLPClassifier X = [[0., 0.], [1., 1.]] y = [0 ...

  2. POJ 3368 线段树

    思路: 先统计在第i个位置当前数字已经出现的次数. 维护两个数组,一个是当前位置的数字最后一次出现的位置,另一个是当前位置的数字第一次出现的位置 查找的时候分为两种情况: 没有和边界相交(意会意会)的 ...

  3. ibatis annotations 注解方式返回刚插入的自增长主键ID的值--转

    原文地址:http://www.blogs8.cn/posts/WWpt35l mybatis提供了注解方式编写sql,省去了配置并编写xml mapper文件的麻烦,今天遇到了获取自增长主键返回值的 ...

  4. Hbase项目(完整版)

    涉及概念梳理:命名空间 4.1.1.命名空间的结构 1) Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定,则在default默认的命名空间中. 2) RegionSe ...

  5. accept-language

    Chrome: [zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4]Safari: [zh-tw]FF: [zh-TW,zh;q=0.8,en-US;q=0.5,en;q=0.3 ...

  6. FCC高级编程篇之Record Collection

    Record Collection You are given a JSON object representing a part of your musical album collection. ...

  7. OSI概述问答

    1.    网络中体系结构的七层.四层.五层是怎么回事? OSI(Open System Interconnection)开放系统互连参考模型的七层协议体系结构:概念清楚,理论比较完整,但既复杂又不用 ...

  8. 前端路由的两种模式:hash(#)模式和history模式(转)

    随着 ajax 的使用越来越广泛,前端的页面逻辑开始变得越来越复杂,特别是spa的兴起,前端路由系统随之开始流行. 从用户的角度看,前端路由主要实现了两个功能(使用ajax更新页面状态的情况下): 记 ...

  9. 二进制与十进制的转化,bool str int 之间的转化,str的常用操作,

    1.基础数据类型总览(7种) int: 整型,用于进行+-*/运算 str: 存储少量的数据;可加str,可乘数字,可切片,可进行9种常用操作 bool: True False 判断真假 list: ...

  10. KOA 框架

    const koa = require('koa'); const static = require('koa-static'); const server = new koa(); // 静态文件 ...