开始安装前,建议安装Visual C++ 2015 Build Tools,否则会一直出现如下提示:

下载地址:http://landinghub.visualstudio.com/visual-cpp-build-tools

1.安装python3.5,并配置环境变量。

2.安装Twisted

(1)    安装setuptools

官方主页:http://pypi.python.org/pypi/setuptools

执行后在python根目录下的scripts文件夹里就会有easy_install.py等文件了,都带有easy_install字眼。easy_install工具安装完成。

(2)安装Zope.Interface

官方主页:http://pypi.python.org/pypi/zope.interface/

下载地址:https://pypi.python.org/pypi/zope.interface/#downloads

选择符合当前环境的可供下载的egg,这里我们选择,下载,这样的一个文件,这时候把这个egg文件拷贝进入刚才我们说道的python根目录下的Scripts目录,同easy_installs等文件一个目录位置。然后进入cmd模式,在cmd模式下进入这个script目录,执行easy_install.py  egg文件名,执行安装这个egg文件。

在python环境中执行import zope.interface,加入不报错误,那么说明zope.interface安装正确。

(3)安装twisted

官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject

官网建议的安装方式:pip install Twisted[windows_platform]

3.安装pyOpenSSL

下载地址:https://pypi.python.org/pypi/pyOpenSSL#downloads

安装方式为:解压pyOpenSSL-16.2.0.tar.gz,进入到setup.py所在目录,使用python setup.py install命令安装。

安装成功

4.安装w3lib

主页:https://pypi.python.org/pypi/w3lib

5.安装lxml

只要自行命令 pip install lxml 就ok(在那个目录下运行无所谓)

6.安装wheel

7.安装scrapy

安装完成:

网上的教程大都是基于python2.7的,可我之前装了python3.5,就看着documentation装了一下,希望可以用。好了安装到此完成,接下来就开始spider

Scrapy环境安装的更多相关文章

  1. scrapy之环境安装

    scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...

  2. Python3环境安装Scrapy爬虫框架过程及常见错误

    收录待用,修改转载已取得腾讯云授权 Scrapy安装介绍 Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上.下面说明Python3环境下的安装过程. Sc ...

  3. python3.5爬虫框架Scrapy的安装和排错(windows环境)

    本文记录win7系统下使用python3.5安装Scrapy爬虫框架. Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行 ...

  4. 06 windows安装Python+Pycharm+Scrapy环境

    windows安装Python+Pycharm+Scrapy环境 使用微信扫码关注微信公众号,并回复:"Python工具包",免费获取下载链接! 一.卸载python环境 卸载以下 ...

  5. linux下scrapy环境搭建

    最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04  python:2.7.6 scrapy:1.0.5 D ...

  6. Linux 下的各种环境安装

    Linux 下的各种环境安装 1.安装 python Centos7  安装  python 2.7 : https://www.cnblogs.com/Jomini/p/10507077.html ...

  7. python3爬虫_环境安装

    一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...

  8. scrapy入门:安装scrapy

    1.安装Scrapy pip 安装: pip install scrapy 要求pip至少是18.1版本的,10.x版本会提示更新pip 更新pip命令: python -m pip install ...

  9. Python Scrapy环境配置教程+使用Scrapy爬取李毅吧内容

    Python爬虫框架Scrapy Scrapy框架 1.Scrapy框架安装 直接通过这里安装scrapy会提示报错: error: Microsoft Visual C++ 14.0 is requ ...

随机推荐

  1. webgl,threejs教程、笔记

    发现一个不错的博客,学学. webgl和threejs教程

  2. stack-protector-strong

    Improve protection against stack buffer overflows Much like its predecessor, stack-protector, stack- ...

  3. JavaBasic_05

    方法 简述:实现特定功能的代码块 格式 修饰符: 返回值类型 方法名(参数类型 参数名1,参数类型 参数名2…){           函数体;           return 返回值;} 方法格式 ...

  4. ZOJ 1005:Jugs(思维)

    Jugs Time Limit: 2 Seconds      Memory Limit: 65536 KB      Special Judge In the movie "Die Har ...

  5. C++学习(九)(C语言部分)之 项目 推箱子游戏

    游戏制作 推箱子 步骤分析 1.模板 2.模板分析 组成元素: 空地 墙 人 目的地 箱子 背景 3.如何操作 通过WASD键盘操作人,推着箱子,到达目的地,游戏结束,如果箱子卡在死角则游戏失败 4. ...

  6. ios-计算时间方法

    -(NSString *)countPublishTime:(NSString *)sDate { NSDate *dtNow = [NSDate date]; NSDateFormatter *da ...

  7. Vue.js系列之项目搭建

    项目搭建具体步骤如下: 1.安装node (中)https://nodejs.org/zh-cn/ (英)https://nodejs.org/en/ 2.安装cnpm镜像 (node自带安装了npm ...

  8. Python中msgpack库的使用

    msgpack用起来像json,但是却比json快,并且序列化以后的数据长度更小,言外之意,使用msgpack不仅序列化和反序列化的速度快,数据传输量也比json格式小,msgpack同样支持多种语言 ...

  9. top-adx-apps

    中国地区top adx和流量平台 12719 unity ios 12001 mopub ios 6599 unity android 5277 mobfox ios 3855 mopub andro ...

  10. TECH books

    文章目录 TECH books linux vxworks bat c gdb c++ vbscript make java bash perl web uml software-misc cpu e ...