Python3.X下安装Scrapy (转载)

2017年08月09日 15:19:30 jingzhilie7908 阅读数:519 标签: python
 
相信很多同学对于爬虫需要安装Scrapy时候,不想特地去安装2.X版本
我也是这样一个懒人,我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装,所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml,下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml,比如我的电脑,我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口,输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试,敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口,输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错,并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

我自己对原文做了一定修改和精简方便各位初学者,如果有问题也可以在本帖回复,我能够作答一定会告诉你的

原文地址:http://bbs.fishc.com/thread-84202-1-1.html

Python3.X下安装Scrapy的更多相关文章

  1. win7中python3.4下安装scrapy爬虫框架(亲测可用)

    貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤: 1.首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyO ...

  2. 在python3.5下安装scrapy包

    此前scrapy只支持python2.x 但是最新的1.1.0rc1已结开始支持py3了 如果电脑上安装了scrapy的依赖包,诸如lxml.OpenSSL 1.你直接下载Scrapy-1.1.0rc ...

  3. Python3下安装Scrapy

    在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考. 首先,直接进入Scrapy网站的文档Installation guide下的 Installing Sc ...

  4. Python3.5中安装Scrapy包时出现问题

    在Python3.5中安装Scrapy第三方库 pip install Scrapy 安装到后面出现的这类错误: error: Microsoft Visual C++ 14.0 is require ...

  5. Windows10 下安装scrapy 日志

    Windows10 下安装scrapy 日志 1.下载python3.6 2.添加python.exe和pip.exe的路径到系统环境变量path中 如c:\python36_64 C:\Python ...

  6. centos7 python3.5 下安装paramiko

    centos7 python3.5 下安装paramiko 安装开发包 yum install openssl openssl-devel python-dev -y 安装pip前需要前置安装setu ...

  7. [原创] ubuntu下安装scrapy报错 error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

    Ubuntu14.04在virtualenv下安装scrapy报错,Failed building wheel for cffi,lxml,cryptography 等. error: command ...

  8. python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

    windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visu ...

  9. python3.7.1安装Scrapy爬虫框架

    python3.7.1安装Scrapy爬虫框架 环境:win7(64位), Python3.7.1(64位) 一.安装pyhthon 详见Python环境搭建:http://www.runoob.co ...

随机推荐

  1. SQL——JOIN(连接)

    JOIN基于多个表之间的共同字段,把多个表的行结合起来. 一.INNER JOIN 关键字 INNER JOIN关键字:在表中存在至少一个匹配时返回行. 语法如下: SELECT 列名1,列名2... ...

  2. yield再理解--绝对够透彻

    首先,拿好宝剑: 先把yield看做“return”, 普通的return是什么意思,就是在程序中返回某个值,返回之后程序就不再往下运行了. 看做return之后再把它看做一个是生成器(generat ...

  3. PLSQL登录失败出现空白错误提示框的问题

    安装win7后其他软件运行正常,可是数据库用cmd plsplus和plsql软件都连不上,plsql报一个空白提示框 重装n遍oracle客户端,都不行. 最后发现解决方式很简单,在plsql的图标 ...

  4. js json数据保存到本地

    转自:https://www.cnblogs.com/gamedaybyday/p/9906542.html 使用HTML5来实现本地文件读取和写入  (FileReader读取json文件,File ...

  5. Eclipse开发环境(一):下载和安装

    一.Eclipse下载及安装 1. 下载 进入官网https://www.eclipse.org/,点击 IDE & Tools 选择Java EE 选择Luna Packages 选择Win ...

  6. 织梦dedecms是什么?

    织梦dedecms是什么?DedeCms是织梦内容管理系统(DedeCms)的简称, 以简单.实用.开源而闻名,是国内最知名的PHP开源网站管理系统,也是使用用户最多的PHP类CMS系统; DedeC ...

  7. jq + 面向对象实现拼图游戏

    jq + 面向对象实现拼图游戏 知识点 拖拽事件 es6面向对象 jquery事件 效果图 html: <div class="wraper"> <div cla ...

  8. 怎么对ZYNQ的FCLK做时钟组约束

    前言 对于包含PS和PL的设计,两者的数据交互PL必然会用到PS端的时钟. 对于FCLK(PS端时钟输入到PL端)的约束,此时钟的基础约束已在IP中产生.以下想约束其异步时钟的时钟组特性. 注意事项: ...

  9. 笔谈runloop(一)

    关于runloop熟悉而又陌生,熟悉的是在iOS开发的过程中线程的执行就跟runloop扯上关系了,陌生的是runloop到底是个什么东西.去公司面试的时候,很多公司的面试人员会问这个问题.runlo ...

  10. orangepi自启动打开一个终端并且运行脚本

    第一步: 在 /home/pi/.config 下创建一个文件夹,名称为 autostart,如果已经存在则不需要创建 第二步: 在autostart文件夹中创建桌面启动项文件,(文件名以 .desk ...