本文记录win7系统下使用python3.5安装Scrapy爬虫框架。

Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行简单的说明。

首先在这里不得不推荐安装Anaconda科学计算环境,这是一个对python进行管理的工具,并且集成了非常丰富的科学计算python库。

1.安装OpenSSL

scrapy框架的使用需要安装OpenSSL,而OpenSSL的使用又依赖windows的Microsoft Visual C++2008运行库,所以要先安装运行库,再安装OpenSSL然后才能使用scrapy。

1)下载openssl程序并安装: https://slproweb.com/products/Win32OpenSSL.html 注意下载

Win64 OpenSSL v1.0.2j Light 版本就可以了,其它版本可能也会出现问题,反正官网上下载的试过下面的方法就不行;

2)将openssl安装路径下的bin文件夹内的ssleay32.dll和libeay32.dll两个文件复制到C:\system32文件夹下,覆盖原有的文件;

3)在系统的环境变量中增加openssl下bin文件夹路径,类似这样:C:\OpenSSL-Win64\bin。

2.安装Scrapy

对于windows下没有安装visual studio的电脑,在使用pip或easy_install时可能会出现“unable to find vcvarsall.bat”的错误,这是因为缺少相应的vs编译器。网上的解决办法有两种:

  第一种方式:使用MinWG作为编译器

  第二种方式:使用visual studio作为编译器

  参考: http://blog.csdn.net/secretx/article/details/17472107

  第一种方式没试过,至于第二种方式,编译一下就要下载一套几个G的软件是不划算的,具体的过程可以参考上面的链接。

因此我比较推荐使用Anaconda中的conda方法进行安装。使用conda命令进行安装非常简单,只要输入conda install scrapy即可安装所有的Scrapy依赖库以及Scrapy。

3.Scrapy排错

1)scrapy创建项目时出现如下提示:

  ImportError:DLLs load failed:操作系统无法运行 %1。

  出现这种错误的原因一般是没有由于安装OpenSSL或没有设置好OpenSSL的系统路径,解决方法参考前述OpenSSL的安装过程。

2)使用pip/easy_install进行安装是提示“unable to find vcvarsall.bat”错误,问题是缺少vs编译器,解决方案具体参考前面的步骤即可。

  参考:  http://snoopyxdy.blog.163.com/blog/static/601174402014413103551989/

python3.5爬虫框架Scrapy的安装和排错(windows环境)的更多相关文章

  1. window7上爬虫框架Scrapy的安装 --错误分析lxml

    本文讲解的是python已经安装成功的情况下,且pip可以使用 版本:python2.7.10 #安装 pip install Scrapy 在安装Scrapy框架时总会报lxml安装不了的各种错误, ...

  2. python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

    windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visu ...

  3. 爬虫框架Scrapy的安装

    Scrapy框架官方网址:http://doc.scrapy.org/en/latest Scrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/lat ...

  4. 怎么在32位windows系统上搭建爬虫框架scrapy?

    禁止转载: 自学python,然后搭建爬虫框架scrapy.费了我一上午的心血.终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写 ******************************** ...

  5. Linux 安装python爬虫框架 scrapy

    Linux 安装python爬虫框架 scrapy http://scrapy.org/ Scrapy是python最好用的一个爬虫框架.要求: python2.7.x. 1. Ubuntu14.04 ...

  6. 《Python3网络爬虫开发实战》PDF+源代码+《精通Python爬虫框架Scrapy》中英文PDF源代码

    下载:https://pan.baidu.com/s/1oejHek3Vmu0ZYvp4w9ZLsw <Python 3网络爬虫开发实战>中文PDF+源代码 下载:https://pan. ...

  7. 教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

    本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scr ...

  8. 【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

    原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http:/ ...

  9. 爬虫框架Scrapy

    前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识, 用来解决简单的贴吧下载,绩点运算自然不在话下. 不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点. 于是乎,爬虫 ...

随机推荐

  1. [BZOJ2947]促销(Splay)

    Description Great Bytelandish的超级市场网络请你编写一个程序模拟促销商品的成本费用(simulating costs of the promotionbeing prepa ...

  2. adb offline解决办法

    假如你连接手机之后,adb devices找不到设备,或者找到了设备,但是device ID后总是offline的状态,那估计就是驱动有问题. 强烈建议1.安装豌豆荚,它可以自己主动修复手机驱动,一般 ...

  3. UVa 1455 Kingdom 线段树 并查集

    题意: 平面上有\(n\)个点,有一种操作和一种查询: \(road \, A \, B\):在\(a\),\(b\)两点之间加一条边 \(line C\):询问直线\(y=C\)经过的连通分量的个数 ...

  4. React基础(Diff算法,属性和状态)

    1.React的背景原理 (1)React Diff算法流程 (2)React虚拟DOM机制 React引入了虚拟DOM(Virtual DOM)的机制:在浏览器端用Javascript实现了一套DO ...

  5. python 学习分享-迭代器与生成器篇

    迭代器 迭代是Python最强大的功能之一,是访问集合元素的一种方式.. 迭代器是一个可以记住遍历的位置的对象. 迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后 ...

  6. Leetcode 649.Dota2参议院

    Dota2参议院 Dota2 的世界里有两个阵营:Radiant(天辉)和 Dire(夜魇) Dota2 参议院由来自两派的参议员组成.现在参议院希望对一个 Dota2 游戏里的改变作出决定.他们以一 ...

  7. node中fileSystem改promise

    请注意,fs的大部分函数回调只会返回一个error参数,所以只要判断error为false的情况下就返回成功,无论有没有第二个参数. 另外exists需要单独包装,因为第一个参数就代表返回内容 con ...

  8. web自动化测试:watir+minitest(一)

    基本介绍: 本课程的测试环境和工具为:win7+ruby+watir+minitest Watir 全称是"Web Application Testing in Ruby".它是一 ...

  9. Redis实现缓存,你应该懂的哪些思路!

    场景一:类似于微博,实现关注和被关注功能. 思路: 对每个用户使用两个集合类型键,用来存储关注别人的用户和被该用户关注的用户.当用户A关注用户B的时候,执行两步操作: sadd user:A B sa ...

  10. 【bzoj4555】[Tjoi2016&Heoi2016]求和 NTT

    题目描述 在2016年,佳媛姐姐刚刚学习了第二类斯特林数,非常开心. 现在他想计算这样一个函数的值: S(i, j)表示第二类斯特林数,递推公式为: S(i, j) = j ∗ S(i − 1, j) ...